Große Textdateien verarbeiten

[Christian Seehase]

Moin 187,

bei derart grossen Dateien wirst Du um den dynamischen Zugriff auf die gerade angezeigten Daten (mit einem Stück davor und danach) spätestens ab 2GB (unter besonderen Umständen auch 3GB) nicht herumkommen, denn sonst geht Dir der Speicher aus.
Auch und gerade, wenn in der Datei noch gesucht/editiert werden soll, werden sich grosse Datenmengen im Speicher als erhebliche Bremse auswirken.
Lade einfach mal eine 500MB grosse Datei ins Notepad und versuch' mal eine Zeile einzufügen.
Dann kannst Du, meiner Erfahrung nach, bequem Kaffee kochen gehen bevor sich etwas rührt.

Als Stichwort für den Zugriff auf grosse Dateien kämen eventuell auch Memory Mapped Files in Frage (MMF) (zumindest wollte ich mir die mal für den genannten Zweck demnächst ansehen )

[-187-]

Ich hab mir einfach mal eine Datenbank zusammengebastelt weil es noch eine am einfachsten für mich realisierbare Variante wäre.

Speicherbedarf hab ich sogut wie garkein...Jedoch brauch ich für 500000 Zeile (7 mb) immernoch 2:30min :/ (Das liegt vielleicht daran weil ich für jede Zeile das Query ausführe, vielleicht kann man das noch optimieren.

Delphi-Quellcode:

  StartTime:=Time;
  for i:=1 to Form1.StringGrid1.RowCount do
  begin
    Path:=Form1.StringGrid1.Cells[1,i];
    if FileExists(Path) then
    begin
      AssignFile(F,Path);
      Reset(F);
      while not eof(F) do
        begin
          Readln(F,tmp);
          IBQuery1.Close;
          IBQuery1.SQL.Clear;
          IBQuery1.SQL.Add('INSERT INTO LINES(MYFIELD) VALUES('''+tmp+''');');
          IBQuery1.Open;
        end;
      CloseFile(F);
    end;
  end;
  EndTime:=Time;
  ShowMessage('Time: '+TimeToStr(EndTime-StartTime));