Moin,
Ich hab schon ne ganze Zeit net mehr in delphi geproggt, brauchte jetzt aber just mal ein kleines Programm.
Ich habe eine Textdatei die ca 90 Mb groß ist.
In jeder Zeile steht ein Wort, Zahl oder Einige sonderzeichen(kann auch alles vermischt sein)
Nun wollte ich alle doppelten Einträhe entfernen. Dazu hab ich mir einfach mal aus einem meiner alten Delphiprojekte ein kleinen Codeschnipzel genommen.

markieren

Delphi-Quellcode:

var sl: TStringlist;
begin
sl:=TStringlist.Create;
try
  SL.Sorted := true;
  SL.Duplicates := dupIgnore;
  SL.LoadFromFile('zusammen.txt');
  Sl.SaveToFile('fertig.txt');
finally
sl.Free;

Dies sollte eigentlich alle doppelten Einträge herausfiltern. Tut es auch wenn ich mit kleinen Dateien arbeite.
Nun mach ich es aber bei der 90 MB Datei und mein Pc (1,8 GHz) rennt schon seit ca 2 Stunden.
Nun meine Frage(n):
Ist hier ein Fehler im Code?
Kann man dies Optimieren?
Mit welcher Methode sortiert eigenlich Delphi?(also bei diesem Beispiel)

Schon mal im voraus vielen Dank
MfG goodvirus

Wieviel Speicher hat dein Rechner und wieviel Speicher braucht die Anwendung? Evtl. ist Windows nur am Swappen so das die eigentliche Bremse evtl. erst mal das Einlesen ist.

zusammenfalten · markieren

Delphi-Quellcode:

var sl: TStringlist;
begin
sl:=TStringlist.Create;
try
  SL.Sorted := true;
  SL.Duplicates := dupIgnore;
  SL.LoadFromFile('zusammen.txt');
  SL.Sort;
  Sl.SaveToFile('fertig.txt');
finally
sl.Free;

Versuchs mal so!

Also ich hab 255 MB DDR-Ram 1,8 Ghz Pc. Hab sonst nix großes im hintergrung laufen.
Mein prog verbraucht laut Taskmanager ca 120 MB.
@Moritz dein Code bringt keine veränderung, da sobald die liste eingelesen wird automatisch sortiert und nach dublikaten gegkuckt wird durch:

markieren

Delphi-Quellcode:

  SL.Sorted := true;
  SL.Duplicates := dupIgnore;

Und das zusätzliche:
SL.Sort; bringt da eigentlich nix ^^

Ich habe jetzt nach einigem rumprobeiren, herausgefunden das das sortieren nur wenig Zeit in anspruch nimmt!
Das Dublikate suchen an sich(wenn wer nicht weiß wie dies delphi macht schreib ich das gern) is der Hautanteil der Arbeit.

MfG goodvirus
Ps: Thx für die schnelle Hilfe
hab jetzt erstmal abgebrochen bis ich ne Lösung gefunden hab

Problem gelößt, auf ganz wundersame weise....
Ich habe eigentlich nichts groß am code geändert, aber auf einmal hats innerhalb 1 min geklapt!

zusammenfalten · markieren

Delphi-Quellcode:

sl:=TStringlist.Create;
try
  sl.Sorted:=True;
  SL.Duplicates := dupIgnore;
  Application.ProcessMessages;
  SL.LoadFromFile('zusammen.txt');
  Application.ProcessMessages;
  Sl.SaveToFile('fertig.txt');
  Application.ProcessMessages;
  ShowMessage('Liste gespeichert');
finally
sl.Free;

MfG goodvirus Thx für die Hilfe

Ich sag es ist trotzdem ein Speicherproblem.

Du sagst das Programm benötigt 120 MB - Welche Speicherangabe meist Du damit? Speicherauslastung oder Virtueller Speicher?

Die implementierung von LoadFromFile ist nicht gerade optimal: Erst wird die Datei komplett in den Speicher geladen (90 MB) und anschließend die Stringlist aufgebaut (~ 90 MB) und anschließend gespeichert (90 MB). Und vermutlich kommt ohne Application.ProcessMessages Windows nicht dazu die ersten 90 MB wieder freizugeben. Und bei deinen damit mickrigen 256 MB (Windows braucht ja auch Speicher) wird Windows nur noch am Swappen sein.

Wenn die Implementierung von LoadFromFile nicht so optimal ist, könnte man das ganze doch "von Hand" einlesen lassen, z.B. mit Hilfe eines Streams. Oder ist das auch nicht besser?

MfG
Binärbaum