Memory leak durch funktion readln

[danieldelphi]

Hallo zusammen,

ich hab mich grade erst hier angemeldet, und das ist auch das erste mal dass ich mich in einem delphi forum anmelde, also wenn ich mich nicht an irgendwelche reglen halte, die ihr hier einhaltet, dann nur weil ich es nicht besser weiß, also schonmal sorry im voruas

Hier mein Problem:
Ich führe eine Projektzusammenführung durch, hat alles ganz gut geklappt, bis ich auf ein erhebliches memory leak gestoßen bin, das mit der fehlermeldung out of memory geendet hat,
mit Hilfe von FastMM konnte ich einen Leck finden, sodass mein Code jetzt läuft ohne abzuschmieren, aber der Arbeitsspeicher wird dennoch stetig mit zunehmender Zeit gekillt.
Dann hab ich weiter gesucht und iwo gelesen, dass FastMM keine leaks bezüglich externer Datein findet, dann hab ich mir genauer angeguckt ob das bei mir zutrifft, und es hat gepasst.

Ich lese eine Datei mit readln ein und schreibe später die umgewandelten Daten in eine andere Datei. Ich hab den Code mal auf das Grundproblem reduziert:

Delphi-Quellcode:

procedure sterb_schleife;
var
  quell_dat, grossdatei: text;



begin

  assign(grossdatei, pfad_aus  + gesell + 'big.txt');
  rewrite(grossdatei);
    quell_dat_name := 'test.TXT';
    assign(quell_dat, pfad_ein + gesell + '\' + quell_dat_name);
    reset(quell_dat);

    while not eof(quell_dat){zaehler_gesamt<1200000} do
    begin
        readln(quell_dat, zeile);


       Writeln(grossdatei, zeile);
          ////////////////////////////////

        inc(zaehler_gesamt);
        if ((zaehler_gesamt mod 1000) = 0) then
          dsnr.strings[1] := inttostr(zaehler_gesamt);

    end;

    flush(quell_dat);
    close(quell_dat);


  flush(grossdatei);
  close(grossdatei);

end;

Ich beobachte das gnaze mit dem Ressource Monitor von Windows.
Das readln sollte doch eigentlich nur eine Zeile einlesen, aber scheinbar ließt es eine zeile und hält sie im speicher und dann die nächste, usw., da kann ich ja direkt mit der tstringlist und loadfromfile arbeiten, das Problem bei der Sache ist, dass meine text dateien bis zu 2 gb groß sein können.. Ich und sogar mein Chef wir sind ratlos. Habtz ihr eine alternative Idee, oder seht ihr den groben Denkfehler? Ich habe schon gelesen, dass man die Output datei hin und wieder schliießen und neu öffnen soll, hat aber auch nix gebracht.
Und jetzt kommt der Brüller, in meinen großen Programm tritt der Fehler mal auf und mal nicht, ich kann ihn nicht wirklich reproduzieren...

Es wäre echt mehr als coolm, wenn ihr mir iwie weiter helfen könntet, denn sosnt sthet mein Projekt leider vor dem aus(
Ich überlege sogar das Projekt in Java umzuschreiben, weil ich eigentlich ein großer Fan vom Garbage collector bin, aber performancemäßig rät mir mein chef davon ab...

DAaaaaaaaanke und viele Größe
Daniel

[Zacherl]

Bei so großen Dateien würde ich direkt TFileStream verwenden.

[danieldelphi]

Was wäre dabei der Vorteil?
Byteweise einlesen heißt, aber auch, dass ich nicht automatisch ganze zeilen einlesen kann oder doch?

[himitsu]

byteweises Einlesen ist suboptimal (langsamer und resoursenlastiger)


Text ist wie "file of string" oder "file of char" und gibt es schon seit Turbo Pascal

[Mavarik]

Zitat von danieldelphi:

Was wäre dabei der Vorteil?
Byteweise einlesen heißt, aber auch, dass ich nicht automatisch ganze zeilen einlesen kann oder doch?

Performance...

Gerade bei 2GB große Files...

Wobei Du natürlich NICHT "Byteweise" lesen solltest sondern:

Sondern eher eine Lesepuffer von 16MB oder größer nehmen...

Und dann die 16MB direkt in einem Rutsch mit einen Blockread lesen...

In Memory dann mit einem Zeiger durchlaufen und entsprechend per Blockwrite wegschreiben...
NIX ist schneller auch nicht der FileStream...
Der nutz nämlich genau die gleichen Routinen intern wie der Blockread... Nur mit mehr Overhead!

Mavarik

[danieldelphi]

Zitat von Mavarik:

Zitat von danieldelphi:

Was wäre dabei der Vorteil?
Byteweise einlesen heißt, aber auch, dass ich nicht automatisch ganze zeilen einlesen kann oder doch?

Performance...

Gerade bei 2GB große Files...

Wobei Du natürlich NICHT "Byteweise" lesen solltest sondern:

Sondern eher eine Lesepuffer von 16MB oder größer nehmen...

Und dann die 16MB direkt in einem Rutsch mit einen Blockread lesen...

In Memory dann mit einem Zeiger durchlaufen und entsprechend per Blockwrite wegschreiben...
NIX ist schneller auch nicht der FileStream...
Der nutz nämlich genau die gleichen Routinen intern wie der Blockread... Nur mit mehr Overhead!

Mavarik

okay also du sagst 16 mb blockweise einlesen und damit dann weiter arbeiten?
kann man da denn noch gut nahc zeilen unterscheiden? ich gehe mal davon aus, dass es schwierig sein wird 16 mb auszulesen ohne dabei eine zeile zu zerschneiden, denn meine zeilen stellen zusammenhängede datensätze dar:/

[himitsu]

Wieso ist "Zeile" nicht lokal deklatiert?

Und ja, Text-Reads gehen immer über einen Puffer.
* dort wird der Inhalt stückchenweise reinkopiert
* da drin wird dann nach dem nächsten Zeilenumbruch gesucht (bzw nach dem Ende der für die Leseoperation ... z.B. das Ende der Zahl für Read(Datei, MyInteger) )
* und dann wird dort das zu Lesende rauskopiert, nachdem man weiß, bis wohin gelesen werden muß


PS: Auch das Writeln geht erstmal in diesen Cache.

Delphi-Quellcode:

PTextBuf = ^TTextBuf;
TTextBuf = array[0..127] of AnsiChar;
TTextRec = packed record
  Handle: THandle;
  Mode: Word;
  ...
  Name: array[0..259] of WideChar;
  Buffer: TTextBuf;  // der Standardpuffer direkt in der "TEXT"-Variable
end;

[Mavarik]

Zitat von danieldelphi:

Delphi-Quellcode:

procedure sterb_schleife;
var
  quell_dat, grossdatei: text;  // ??????? C++

    flush(quell_dat); // ??????

end;

hmm Welche Delphi Version soll das den sein?
Flush auf die Quelle?

Also ich denke nicht das ein ReadLn/Writeln ein MemoryLeak produziert.

Bist Du sicher, dass Du uns "genug" Sourcecode gepostet hast?

Mavarik

[Der schöne Günther]

Code der zumindest compiliert wäre sicher extrem hilfreich.

[danieldelphi]

Zitat von Der schöne Günther:

Code der zumindest compiliert wäre sicher extrem hilfreich.

ich verstehe nicht ganz? wie meinst du das?