Pixelerkennung, Kreativität gesucht die mir fehlt!

[Pixel]

Zitat von bernhard_LA:

aus Sicht der Bildverarbeitung wäre mein Ansatz :


über NCC / FastNCC kann ich Bilder in anderen Bildern erkennen :


https://sourceforge.net/projects/nccfastncc/


dh. BMP des ersten Kopfes als Vorlage Speichern und dann innerhalb Deines roten Rahmen suchen, bei > 70 % NCC Wert hast du vermutlich dann schon einen Treffer

Ja hatte kurze Zeit überlegt openCV zu benutzen, problem ist aber, dass es 20 verschiedene Köpfe gibt, die skallierend von allen Blickwinkeln dann schwer zu erkennen wären..

Also fest steht Die Mitte der HP-Bar ist immer die Mitte des Kopfes, das heißt wenn man die Breite ermitteln könnte wäre die Sache schon getan, denn ich habe festgestellt:

Wenn Breite der HP-Bar >= 70 dann (Breite * 0.6) = ca. Y-Wert Mitte Kopf. Wenn < dann c.a. Y = 43.

Da die HP-Bar ja durchsichtig wird, habe ich den ersten Block der HP-Bar genommen und mit *8 multipliziert um die gesamte Breite zu erhalten. Das hat auch ganz gut funktioniert bis ich dann fesgestellt habe dass die Anzahl Balken ja auch variieren

Ich würde ja einfach versuchen von dem Namen der untendrunter ist die Mitte zu finden (ist ebenfalls Kopf-X-Wert) aber der Rotton variiert einfach sehr stark..

Und dann sieht man noch auf Bild 1a) dass der Kopf beim Laufen durchaus nicht Zentral des Namens liegen kann.

Daher wollte ich durch die Rote Linie das erkennen. Aber da hab ich echt keine Ahnung, denn die Rote Linie hat verschiedene Rottöne die vom Hintergrund beeinflusst werden und wenn man da im Programm dann eine hohe Tolleranz einsetzt hat man schnell falsche Punkte..

Was ich später mal versuche:

Da die Hp Bar ja immer einen Mindestabstand zum Kopf hat versuche ich später mal folgendes:
Ich suche nach den 3 Pixeln in der HP-Bar (die man ja immer findet) und suche dann 80? pixel unterhalb und 20 pixel nach rechts vertikal nach einem passenden Pixel. Von dem Pixel aus könnte ich dann die 8 Aneckenden Pixel scannen und davon müsste es ja mindestens 2 geben (links und Rechts davon). Da ich ja den linken Pixel der HP-Bar als Offset und dieses links neben dem Kopf sein muss kann ich dann ja auch mit Sicherheit sagen dass alle Pixel die von meinem neuen gefunden Pixel aus Rechts liegen zum Kopf führen. Anders gesagt: Ich versuche mal der Linie "zu folgen" und den höchsten Rotpunkt zu finden, oder so :3

Im Anhang noch zwei neue Bilder.

[Zacherl]

Muss die Erkennung wirklich rein visuell sein? Weiß nicht genau, inwiefern sowas vom rechtlichen Standpunkt her in Deutschland erlaubt ist, aber ich würde mir die Koordinaten der Spieler einfach aus dem Arbeitsspeicher des Spiels auslesen.

Andere (aber deutlich kompliziertere) Alternative:
Reverse das Netzwerkprotokoll, schalte deine eigene Anwendung als Proxy dazwischen und lese die Koordinaten einfach aus dem Daten-Stream aus. Das hatten wir damals bei einem bekannten Valve Spiel mal erfolgreich als PoC implementiert.

[Medium]

Zitat von Zacherl:

Muss die Erkennung wirklich rein visuell sein? Weiß nicht genau, inwiefern sowas vom rechtlichen Standpunkt her in Deutschland erlaubt ist, aber ich würde mir die Koordinaten der Spieler einfach aus dem Arbeitsspeicher des Spiels auslesen.

Andere (aber deutlich kompliziertere) Alternative:
Reverse das Netzwerkprotokoll, schalte deine eigene Anwendung als Proxy dazwischen und lese die Koordinaten einfach aus dem Daten-Stream aus. Das hatten wir damals bei einem bekannten Valve Spiel mal erfolgreich als PoC implementiert.

So wie ich Blizzard kenne, wird deren berühmt-berüchtigte Anti-Cheat Software "Warden" teil des Spiels sein. Und auf Gefummel im Prozessraum des Spiels reagiert dieser sofort. Rein rechtlich ist das wohl kein Problem, aber rein rechtlich ist es auch keines, wenn Blizzard dann einem die Nutzung ihrer Server untersagt.

[Namenloser]

Zitat von Medium:

Zitat von Zacherl:

Muss die Erkennung wirklich rein visuell sein? Weiß nicht genau, inwiefern sowas vom rechtlichen Standpunkt her in Deutschland erlaubt ist, aber ich würde mir die Koordinaten der Spieler einfach aus dem Arbeitsspeicher des Spiels auslesen.

Andere (aber deutlich kompliziertere) Alternative:
Reverse das Netzwerkprotokoll, schalte deine eigene Anwendung als Proxy dazwischen und lese die Koordinaten einfach aus dem Daten-Stream aus. Das hatten wir damals bei einem bekannten Valve Spiel mal erfolgreich als PoC implementiert.

So wie ich Blizzard kenne, wird deren berühmt-berüchtigte Anti-Cheat Software "Warden" teil des Spiels sein. Und auf Gefummel im Prozessraum des Spiels reagiert dieser sofort. Rein rechtlich ist das wohl kein Problem, aber rein rechtlich ist es auch keines, wenn Blizzard dann einem die Nutzung ihrer Server untersagt.

Trotzdem mal aus Interesse: Wie findet man denn "einfach" die Koordinaten der Spieler im Arbeitsspeicher? Ich hab sowas mal vor Jahren bei emulierten GBA-Spielen gemacht, aber die sind ja auch sehr hardwarenah und primitiv. Bei modernen PC-Spielen ist doch wahrscheinlich alles dynamisch sonstwo allokiert.

Was die visuelle Erkennung angeht: OpenCV ist extrem mächtig. Wenn es mit irgendwas geht, dann damit. Aber braucht natürlich viel Einarbeitung. Ich kann dir da auch nicht helfen, weil ich da nur mal so ganz am Rande was mit zu tun hatte.

[mensch72]

Schönes Thema

Zum "Abgreifen" von (Geometrie)Informationen für/von 3D Programmen eigenen sich spezielle DirectX-"kompatible"-Grafiktreiber. VMware hat es vorgemacht das und wie es mit nur 10..15% Geschwindigkeitsverlust innerhalb von VMs funktioniert. (Sollte ein "Bot" der Plan sein, würde ich auch völlig ohne Effekte darstellen lassen, so hat man viel weniger optische Beeinflussung der 3D Objekte)

Aber zurück zum "SourceHack" der 3D-Informationen... das ist schon daher besser, weil man echte "Tiefe" hat und behält, also nicht versuchen muss aus der in 2D dargestellen 3D Szene sich diese Information wieder zu rekonstruieren.

Das "simulierte"Ansteuern von Maus&Tastatur macht doch heute keiner mehr ohne HDI kompatibles Modul, was direkt von aussen als echtes Maus&Tastatur Interface die entsprechenden Sachen völlig ohne spezielle Ring0-Treiber macht.
Wenn ich zunächst neutrale Bot's für "beliebige" 2D Sachen entwickeln wollte, würde ich das eventuell sogar völlig extern machen, also 2PCs... Kamera des zweiten PC mit meiner Software nimmt den Screen des ersten auf und steuert per HDI ein Mouse&Tastaturinterface für den ersten PC und kontrolliert "optisch" auch gleich die MousePosition, weil es gern mal passiert, das Programme die Mouse selbst versetzen und ein Bot ohne externe Rückkopplung dann Probleme bekommt.


=> nur zum Spass macht und entwickelt sowas aber keiner nebenbei/kostenlos... alles was mir da einfällt hätte mit der Umgehung von kommerziellen Nutzungseinschränkungen zu tun und wäre wenn man es gewinnorientiert zum eigenen Vorteil trotzdem macht definitiv illegal

[Pixel]

@hanvas: Cool danke, ich möchte das zwar nicht 1:! so übernehmen wie du es da geschrieben hast aber ich werde auf jedenfall mit deiner Idee rumspielen! (und hier den Code dann posten)

@Medium: Das ist korrekt. Blizzard hat ihre eigene Anti cheat Abteilung und die sind definitiv nicht unfähig. Gut so! Wie du schon meintest - "finger weg vom Blizzard-RAM, denn sonst gibt's nen Bann!"

@Namenloser: Das kommt auf das Spiel an. Die Werte selbst (z.B. Spielerpositionen) sind zwar an dynamischen Adressen (99.99999%), aber man kann mit Hilfe von einigen Tools die statischen Pointer (also immer gleiche Adresse) finden und dann mittels Offsets zum gewünschten Wert (nzw. zur dynamischen Adresse) finden. Aber da die meisten Spiele das nicht wollen gibt es halt Sicherheitsvorkehrungen und da liegt dann die eigentliche Schwierigkeit.

@mensch72: Naja, wenn ich die Maus virtuell Bewegen will dann kann man SendInput() nutzen, die Funktion ruft widerum mouse_event() auf und diese widerum auf Ring0 w32k.sys NtUserSendInput(). mouse_event() z.B. sendet direkt in den Maus-Stream. Das heißt man müsste schon NtUserSendInput() hooken um herauszufinden ob die Mausbewegung physikalisch oder virtuell geschah. Wenn ich nicht falsch informiert bin, ist das so..

[bitsetter]

Zitat:

Also fest steht Die Mitte der HP-Bar ist immer die Mitte des Kopfes, das heißt wenn man die Breite ermitteln könnte wäre die Sache schon getan, denn ich habe festgestellt:

Es sieht aber auf deinen letzten beiden Bildern so aus, als wenn sich die HP-Bar immer mittig vom Bildschirm befindet. Dann könnte man doch mit Hilfe das ersten linken Pixels der HP-Bar den letzten rechten Pixel und somit die Gesamtbreite berechen.

(rechter Pixel) = (Breite des Bildes) - (linker Pixel)

[hanvas]

Ich würde zunächst ein Array in den Dimensionen des Bildes anlegen, als Datentyp würde ich vermutlich Byte wählen, kann aber sein das Integer, wenn es auf Geschwindigkeit ankommt, ggf. besser wäre.

Anschließend würde ich an allen Positionen die im Bild der Suchfarbe entsprechen eine 1 im Array setzen, an allen anderen Positionen eine 0. Das Ergebnis bis hierhin ist praktisch Binärbild das die zu bearbeitenden Umrisse, die Buchstaben und die Paralellogramme des gesuchten Balkens enthalten.

Anschließend würde ich eine Liste der "verbundenen Komponenten" erstellen. Die nachfolgenden Prozeduren sollten nebenbei auch noch ein Labeling durchführen, das heißt jedem Umriss im erzeugten "Binärbild" eine andere Nummer, beginnend mit 2 zuordnen. Die erzeugte Liste enthält ein Objekt welches die Anzahl der zusammenhängenden Pixel speichert, das Rechteck für jeden Umriss das den Umriss gerade noch umschließt und das Label das mit dem Urisse in unseren Array korrospondiert.

Einfach mal so hingeschrieben, ungetestet, keine Garantie auf Korrektheit, beim dargestellten Problem (und s/w Bild) sollte die rekursive Version funktionieren.

Delphi-Quellcode:

const nr = YYYY; // Dimension in y
      nc = XXXX; // Dimension in x

type  TData : Array[0..nr,0..nc] of byte;     

      // Bitte selbst implementieren
      TObjectInfo = class(TObject) // oder record
      private
       FExtends : TRect;
       FLabel   : Integer;
       FSize    : Integer;
      public
       Constructor Create(aSize, aLabel : Integer; minX,minY,maxX,maxY : Integer );
      property
       Size : Integer
        read FSize;
      property
       R : TRect
         read FExtends 
      property 
       label : Integer
         read FLabel;
      end;

function  ConnectedArea ( var data : TData; y,x : Integer; Searched : Integer= 1; Visited: Integer = 2; var minX,minY,maxX,maxY ) : Integer;
var v : Integer;
begin
  if ( y< nr  ) and
     ( y >= 0 ) and
     ( x < nc ) and
     ( x >= 0 ) then
  begin
   v := Data[y,x];
   if (v=Searched) and // 
      (v<>visited) then
      begin
       if (minX>x) then 
           minX:= x;
       if (minY>y ) then
           minY:= y;
       if (maxX>x) then
           maxX := x;  
       if (maxY>y) then
           maxY := y; 
       result    := 1;
       Data[y,x] := visited;
       result    := result + ConnectedArea ( img, y+1, x  , Value, minx,miny,maxx,maxy );
       result    := result + ConnectedArea ( img, y+1, x+1, Value, minx,miny,maxx,maxy );
       result    := result + ConnectedArea ( img, y+1, x-1, Value, minx,miny,maxx,maxy );
       result    := result + ConnectedArea ( img, y-1, x  , Value, minx,miny,maxx,maxy );
       result    := result + ConnectedArea ( img, y-1, x-1, Value, minx,miny,maxx,maxy );
       result    := result + ConnectedArea ( img, y-1, x+1, Value, minx,miny,maxx,maxy );
       result    := result + ConnectedArea ( img, y  , x+1, Value, minx,miny,maxx,maxy );   
       result    := result + ConnectedArea ( img, y  , x-1, Value, minx,miny,maxx,maxy );
      end else
      result := 0;
  end else result := 0;
end;

function ListConnected
  ( var Data : TData; zx1, zy1, zx2, zy2 : Integer ) : TList;
var i,j          : Integer;
    a, cnt       : LongInt;    
    minx,miny,
    maxx,maxy    : Integer;
begin
 result := TList.Create;
 cnt    := 2;
 minx   := maxInt; 
 miny   := maxInt;
 maxx   := 0;
 maxy   := 0;
 for j  := zy1 to zy2 do
   for i := zx1 to zx2 do
     if ( Data[j,i] = 1 ) then
      begin
       cnt := cnt + 1;
       a := ConnectedArea ( Data, 1, cnt, j,i, minx,miny,maxx,maxy );       
       if ( a > NOISE ) then begin                                  
                               result.Add(TObjectInfo.Create(a,cnt,minx,miny,maxx,maxy);                   
                               minx   := maxInt; 
                               miny   := maxInt;
                               maxx   := 0;
                               maxy   := 0;              
                             end;              
      end;
end;

Wenn man sich deine Beispielbilder ansieht fällt auf das der von dir gesuchte Balken aus nebeneinanderliegenden Paralellogrammen besteht. Die Bilder sind für mich zu klein um erkennen zu können ob sich die Paralellogramme berühren, ich gehe mal von nein aus.

Die einander nicht berührenden Paralellogramme würden in der erzeugten Liste als jeweils eigene Objekte zu finden sein. Die y Koordinate der jeweiligen Grundlinien sollte gleich, oder durch Darstellungsfehler unter Umständen um ein Pixel nach oben oder unten verschoben sein. Die Rechtecke die die Ausmaße beschreiben müssen überlappen. Solange also mindestens zwei Paralellogramme existieren musst Du eigentlich nur nach überlappenden Objekten mit praktisch gleichen Dimensionen an unterschiedlichen X Positionen, aber (nahezu) gleichen Y Positionen suchen und das Rechteck bilden das alle Objekt die Du so findest einschließt.

[1] Wenn Du meine Prozedur von vertikal zuerst auf horizontal umstellst dann werden die Objekte sogar in der richtigen Reihenfolge erzeugt was das suchen und finden noch einfacher macht.

cu Ha-Jö