Grafiken erkennen. Library ?

[Codewalker]

Es muss nicht direkt pattern matching sein, es reicht ja eine Ähnlichkeitssuche. Das Schlagwort hier wäre "Korrelationsfunktion" (nicht die aus der Statistik, sondern die Umkehrung zur Convolution/Faltung in der Bildverarbeitung).
Leichte Kost ist das auch nicht gerade. Man sollte in der Lage sein, ein Bild per Fourier-Transformation (FFT) in den Frequenzraum zu transformieren (und wieder zurück) und auch komplexe Zahlen sollte einem nicht fremd sein. Zur Belohnung kann man dann ein kleineres Bild in einem größeren suchen und bekommt X- und Y-Koordinaten am Ende raus (als Maxima der Funktion, die die Ähnlichkeit der Bilder darstellt).
Zum schnellen Testen, kann man MatLab hernehmen:

Code:

functiong = dftcorr(f,w)
[M,N] = size(f);
F = fft2(f);
G = conj(fft2(w,M,N));
g = real(ifft2(G.*F));
gs= im2uint8(mat2gray(g));
figure; imtool(gs);
[I,J]= find(g == max(g(:)))

wobei hier w das gesuchte Muster und f das Gesamtbild ist. In I und J stehen dann nachher die Koordinaten (I=Y, J=X, weil Matlab spaltenweise arbeitet).
Das ganze in fertiger Form für Delphi kenne ich leider nicht, aber wenn dich das bisher nicht abgeschreckt hat: Zumindest zur Theorie dahinter hab ich noch ein wenig rumfliegen.

[fkerber]

Hi,

die eierlegende Wollmilchsau zum Thema Bilderkennung etc. dürft vermutlich OpenCV sein...

LG, Frederic

[stiftII]

Zitat von fkerber:

Hi,

die eierlegende Wollmilchsau zum Thema Bilderkennung etc. dürft vermutlich OpenCV sein...

LG, Frederic

Das klingt auch klasse.. Aber so wie ich das sehe gibt es keine fpc implementation.

Würde das ganze gerne in Lazarus umsetzen.

[Aphton]

Wie performant muss das ganze sein, wo willst du es genau einsetzen?
Darf das gesuchte Bild Abweichungen haben oder ist es exakt so im Bild enthalten?

[stiftII]

Zitat von Aphton:

Wie performant muss das ganze sein, wo willst du es genau einsetzen?
Darf das gesuchte Bild Abweichungen haben oder ist es exakt so im Bild enthalten?

Es darf minimale abweichungen haben. Und muss vorallem in jeder Größe gefunden werden.

Was macht die Funktion, die du gepostet hast genau ?

PS: Wenn ich die ausprobieren möchte bekomme ich ein "PRGBTriple not found"

[Aphton]

Welche Delphiversion verwendest du?

Ich schätz mal, eine etwas ältere, in der es diesen Typ nicht gibt.

Du kannst sie hier definieren:

Delphi-Quellcode:

type
  PRGBTriple = ^TRGBTriple;
  TRGBTriple = record
    rgbtBlue: Byte;
    rgbtGreen: Byte;
    rgbtRed: Byte;
  end;
  TPRGBTripleRow = Array of PRGBTriple;

Die Funktion liefert dir die Koordinaten der linkeren oberen Ecke im Bild, wo es halt gefunden wurde.

Anwendung:

Delphi-Quellcode:

var
  Position: TPoint;
begin
  Position := findPicture(RiesengroßesBild, SuchBild);
  ShowMessage('Gefunden an der Stelle: ' + IntToStr(Position.X) + ' - ' + IntToStr(Position.Y));
end;

Edit: Skalierung wird nicht berücksichtigt! Dies ginge aber auch ganz einfach (jedoch übelst unperformant) indem man das Suchbild zuerst mal richtig runterskaliert, dann schrittweise hochskaliert bis man dieselben Dimensionen wie das "RiesngroßeBild" hat und meine Suchfunktion drüberjagt!

Edit2: Das Ganze ist mehr oder weniger die Implementierung von dem hier (Anwendung: hier)

[stiftII]

Zitat:

Edit: Skalierung wird nicht berücksichtigt! Dies ginge aber auch ganz einfach (jedoch übelst unperformant) indem man das Suchbild zuerst mal richtig runterskaliert, dann schrittweise hochskaliert bis man dieselben Dimensionen wie das "RiesngroßeBild" hat und meine Suchfunktion drüberjagt!

Das ist eine interessante vorgehensweise.

Wie genau würde diese Funktion denn das skalierte Bilder erkennen ?

Beim skallieren gibt es ja auch immer einen qualitätsverlust, wenn das Original-Bild zB kleiner ist als das zu suchende "fragment".

PS: Ich arbeite mit Lazarus (fpc) und hab gerade festgestellt, dass es scanline dort nicht gibt ....

[stiftII]

Zitat von Codewalker:

Es muss nicht direkt pattern matching sein, es reicht ja eine Ähnlichkeitssuche. Das Schlagwort hier wäre "Korrelationsfunktion" (nicht die aus der Statistik, sondern die Umkehrung zur Convolution/Faltung in der Bildverarbeitung).
Leichte Kost ist das auch nicht gerade. Man sollte in der Lage sein, ein Bild per Fourier-Transformation (FFT) in den Frequenzraum zu transformieren (und wieder zurück) und auch komplexe Zahlen sollte einem nicht fremd sein. Zur Belohnung kann man dann ein kleineres Bild in einem größeren suchen und bekommt X- und Y-Koordinaten am Ende raus (als Maxima der Funktion, die die Ähnlichkeit der Bilder darstellt).
Zum schnellen Testen, kann man MatLab hernehmen:

Code:

functiong = dftcorr(f,w)
[M,N] = size(f);
F = fft2(f);
G = conj(fft2(w,M,N));
g = real(ifft2(G.*F));
gs= im2uint8(mat2gray(g));
figure; imtool(gs);
[I,J]= find(g == max(g(:)))

wobei hier w das gesuchte Muster und f das Gesamtbild ist. In I und J stehen dann nachher die Koordinaten (I=Y, J=X, weil Matlab spaltenweise arbeitet).
Das ganze in fertiger Form für Delphi kenne ich leider nicht, aber wenn dich das bisher nicht abgeschreckt hat: Zumindest zur Theorie dahinter hab ich noch ein wenig rumfliegen.

Das klingt ja schonmal genial ...

Würde mich interessieren, was du noch so zum Thema hast. Und vllt kannste ja sogar eine Beispielfunktion in FPC basteln ??

Und was macht diese "Ähnlichkeitssuche" genau ?. Wandelt sie das Bild in ein verainfachtes Format um, und vergleicht gefundene Muster und formen ? Oder geht die im Endeffekte jeden Pixel durch und vergleicht ?

Danke schonmal.

~stiftII

[Medium]

Zitat von stiftII:

Wandelt sie das Bild in ein verainfachtes Format um, und vergleicht gefundene Muster und formen ? Oder geht die im Endeffekte jeden Pixel durch und vergleicht ?

An der Art und Weise wie du fragst, lässt sich zumindest schon mal gut erkennen, dass du eher nach einer fertigen Lib schauen solltest, als es zu versuchen selbst zu implementieren.
Nein, diese Suche transformiert die Bilder vom Ortsraum in den Frequenzraum, führt eine skaleninvariante Minimabestimmung einer Differenz der Faltung durch, und transformiert das gefundene Minimum zurück in den Ortsraum. Edit: Oder ist das das Maximum im Sinne einer Autokorrelation im Frequenzraum? Der Wein... Was mich brennend interessieren würde: Gibt es dafür auch eine skalen- und rotationsinvariante Version in ähnlicher Einfachheit?