TPerlRegex sehr langsam

[luke2]

Hallo,

Kennt jemand von euch TPerlRegex?

Ich benutze es so:

Delphi-Quellcode:

  with TPerlRegEx.Create(nil) do try
    Subject := sFileContent;
    RegEx := '\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}';
    //Options := [preMultiLine];
    //Compile;
    Result := Match;
    if Result then
      repeat
        sl.Add(MatchedExpression);
      until not MatchAgain;
  finally
    Free;
  end;

Als Subject wird der Inhalt einer gerade mal 600KB großen Textdatei angegeben und es werden ungefähr 30000 Strings gefiltert.
Dieser Vorgang dauert gefühlte 30 Sekunden. Muss man da etwas beachten oder wieso ist das so langsam?

Ich verwende die Testversion von Delphi2010.

[mirage228]

Ich könnte mir vorstellen, dass hier versucht wird Patterns öfter zu matchen: http://de.php.net/manual/de/regexp.r...e.onlyonce.php

Versuchs mal so:

Code:

(?>\d{1,3})\.(?>\d{1,3})\.(?>\d{1,3})\.(?>\d{1,3})

oder du versuchst es mit Assertions:

Code:

(\d{1,3}(?=\.)){3}\d{1,3}

Edit: Die Ausdrücke sind ungetestet. Sollten aber prinzipiell zumindest so funktionieren.

Viele Grüße

[luke2]

Danke für die Vorschläge.
Der erste Ausdruck funktioniert, dauert aber genau so lange wie meiner; der zweite geht zwar recht schnell, liefert aber leider keine Matches.

Die Seite ist leider gerade nicht erreichbar.

[Hawkeye219]

Hallo luke2,

ist sl eine einfache Stringliste, oder verweist die Variable auf eine sichtbare Komponente (Memo o.ä.)? Im letzten Fall sollte es helfen, das Füllen der Liste mit den Methoden BeginUpdate und EndUpdate zu klammern.

Gruß Hawkeye

[luke2]

Hallo Hawkeye,

Es ist eine einfache Stringliste, auch nicht sortiert oder so.
Ich habe die Zeile mit dem sl.add() auch einmal auskommentiert, brachte aber keine Änderung.

Es muss der Aufruf von MatchAgain sein, der so langsam ist, aber leider habe ich den Quellcode nicht, um nachzuschauen, was dort passiert.

[s.h.a.r.k]

Hallo,

geh mal auf Nummer sicher und teste die Geschwindigkeit wie folgt:

Delphi-Quellcode:

var
  blub : Int64;
begin
{... }
blub := GetTickCount();
Result := Match;
if Result then
  repeat
    //sl.Add(MatchedExpression);
  until not MatchAgain;
blub := GetTickCount() - blub;
ShowMessage(IntToStr(blub) + ' Millisekunden);

Ansonsten kannst auch mal die Lib testen: http://www.regular-expressions.info/delphi.html

[luke2]

Das ergibt einen Wert von 24960 = 25 Sekunden, das ist - finde ich - für 600KB Daten einfach zu langsam!
Diese Komponente basiert doch auch auf der pcre.dll und kapselt nur die Aufrufe, deshalb verstehe ich nicht, wieso das so langsam ist

[mirage228]

Zitat von luke2:

Danke für die Vorschläge.
Der erste Ausdruck funktioniert, dauert aber genau so lange wie meiner; der zweite geht zwar recht schnell, liefert aber leider keine Matches.

Die Seite ist leider gerade nicht erreichbar.

So gings mit meiner PCRE library (verwendet auch die pcre.dll, daher sollten die Ergebnisse auch gleich sein):

Code:

(\d{1,3}(?>\.)){3}(?>\d{1,3})

Match kam erfolgreich zurück. Sollte so auch relativ schnell sein.

Schau mal, ob das bei dir die richtigen Matches liefert.

Viele Grüße

[luke2]

Dieser Ausdruck liefert mir die korrekten Matches dauert aber wieder um die 20 Sekunden.

Wie hast du die pcre.dll denn eingebunden? dieses TPerlRegEx bindet es statisch ein, so dass die dll von der Anwendung nicht mehr benötigt wird.
Aber mit der Geschwindigkeit kann das doch nichts zu tun haben, oder?

[mirage228]

Ich verwende: http://www.renatomancuso.com/software/dpcre/dpcre.htm
Allerdings auf D2010 angepasst (string->AnsiString, PChar->PAnsiChar, PCRE 6.7 Lib pcre.dll - muss der Anwendung beigelegt werden).

Lade mal die Test-Datei (also dort wo die gesuchten Einträge drin sind) hoch, dann kann ich genauere Geschwindigkeitstests machen ...

Viele Grüße