Delphi-PRAXiS - Text bereinigen: kurze Wörter löschen

Zitat:

Zitat von erich.wanker (Beitrag 1371724)

Rohdaten sind aus "Tesseract OCR"

- ich verwende ghostscript, um PDF´s (bestehend meist aus gescannte A4 Seiten) in TIFF umzuwandeln...
- und ich verwende tesseract OCR, um TIFF´s in TXT umzuwandeln
- dann lade ich mir die TXT rein ... lösche "Füllwörter"

Tesseract kann das eigentlich deutlich besser. Wie verwendest Du Tesseract denn, über die Kommandozeile oder als DLL mit der CAPI?

Bei Interesse kann ich eine Portierung der C API hier hochladen damit man Tesseract als DLL einbinden kann.

Unabhängig davon, schau die mal [1][2] und [3] an. Die Methoden funktionieren mit der API Version ebenso wie mit der Komandozeile.

Zitat:

Zitat von erich.wanker (Beitrag 1371724)

Ja ... Ein Wörterbuch drüberlaufen lassen wäre natürlich perfekt - aber das überschreitet meine Fähigkeiten ;-)

Das hat Tesseract schon eingebaut. Du kannst sowohl mit der Komandozeile wie auch der CAPI Version eigene Wörterbücher mitgeben. Das ist eine der Maßnahmen um das Erkennungsergebnis an sich deutlich zu verbessern. Aber Achtung ! Ein Wörterbuch auf Tesseract Ebene schränkt die Erkennungsergebnisse weitgehend ein. Das wirkt wie eine Whitelist.

Zitat:

Zitat von erich.wanker (Beitrag 1371724)

Wie soll ich z.b: Aus "Autm0bll" ein "Automobil" machen ...

Indem Du eine Liste der erlaubten Wörter aufstellst, ein Maß für die Abweichung zwischen zwei Wörtern definierst. (Beispielsweise 0-1 wobei 0 keine Übereinstimmung und 1 eine max. Übereinstimmung bedeutet). Dein gefundenes Wort mit dieser Liste vergleichst, und das Paar mit der kleinsten Abweichung ermittelst. Ist die Abweichung in einem Rahmen den Du noch erlaubst nimmst du den gefundenen wert her, ist die Abweichung zu groß dann hast Du Müll.

Die üblichen "Ähnlichkeitsmaße" sind bei OCR Daten übrigens meistens nicht so toll, da es sich nicht um Tippfehler (wie bei Levenstein) oder phoenetisch gleiche Begriffe (wie bei Müller und Mueller) sondern um visuelle Ähnlichkeiten handelt. Unter den Standard-Algorithmen ist der Jaro Winkler / Dice noch am besten geeignet, oder Du arbeitest mit Homoglyph Tabellen. Eine kleine Hilfe ist vielleicht das Nachfolgende (den größten Teil aus [4] entnommen)

[SOURCE]

uses
SysUtils, Math;

type
TBigram = string[2];
TBigrams = array of TBigram;

function TokenizeString(Str: String; IgnoreCase: Boolean): TBigrams;
var
i : Integer;
l : Integer;
begin
i:=0;
l:=Length(Str);

if IgnoreCase then
Str:=AnsiUpperCase(Str);

SetLength(Result, Ceil(l/2));

if l=0 then
Exit;

while i<=High(Result) do
begin
Result[i]:=TBigram(copy(Str, (2*i)+1, 2));
inc(i);
end;
end;

function StringSimilarityRatio(const Str1, Str2: String; IgnoreCase: Boolean): Double;
var
commonTerms: Integer;
Bigrams1,
Bigrams2 : TBigrams;
idx : Integer;
begin
commonTerms:=0;
Bigrams1:=TokenizeString(Str1, IgnoreCase);
Bigrams2:=TokenizeString(Str2, IgnoreCase);

for idx := 0 to Min(High(Bigrams1), High(Bigrams2)) do
begin
if Bigrams1[idx]=Bigrams2[idx] then
Inc(commonTerms);
end;

Result:=2 * commonTerms / (Length(Bigrams1) + Length(Bigrams2));
end;

// Beispiel wie du das einbauen kannst.

function CheckDict (const searchFor : String; Dictionary : TStrings; var s : String ) : Double;
var i : Integer;
r : String;
d : Double;
begin
result := 0.0;
s := '';
for i := 0 to Dictionary.Count-1 do
begin
d := StringSimilarityRatio(dictionary[i],searchFor);
if d>result then
begin
s := dictionary[i];
result := d;
end;
end;
end;

[/SOURCE]

Zitat:

Zitat von erich.wanker (Beitrag 1371724)

Und: Es sind viele Familiennamen und Regions-namen in den Texten - die findet man nicht in einer Wörterbuchliste - und die sind eigentlich meine wichtigsten Indikatoren

[/QUOTE]

Die Arbeit die Listen zu erstellen nimmt die aber niemand ab. Sind ja nur ganz normale Textdateien, und Material findest Du im Internet zu hauf [5][6] und viele mehr.

cu Ha-Jö

[1]

https://github.com/tesseract-ocr/tes...ImproveQuality
[2]

http://stackoverflow.com/questions/2...seract-library
[3]

https://mazira.com/blog/optimal-imag...-tesseract-ocr
[4]

https://github.com/chaosben/theunkno...ringSimilarity
[5]

http://www.namepedia.org/de/lastname/
[6]

http://www.namenforschung.net/dfd/woerterbuch/liste/
[7]

https://gedbas.genealogy.net/names/list