Datei von Festplatte via Thread lesen und anzeigen

[Mavarik]

Zitat:

Zitat von AJ_Oldendorf (Beitrag 1545469)

Delphi-Quellcode:

Memo1.Lines.Text := TFile.ReadAllLines(Filename);

Also ist das die schnellste Variante?

hmm... Es könnte schneller gehen, aber ich denke Uwe's Beispiel war schon gut...

Daher nimm das hier lieber nicht in Deinen Code...
Aber:
Wenn die Daten "optimal" vorliegen und natürlich nur auf Windows, dann könnte es so schneller gehen - hab's nicht gemessen.

Delphi-Quellcode:

procedure TForm97.Button2Click(Sender: TObject);
var
  MS         : TMemoryStream;
  TextHandle : THandle;
  TextPTR    : PChar;
begin
  MS := TMemoryStream.Create;
  try
    MS.LoadFromFile('Temp.txt');

    TextHandle := GlobalAlloc(GMEM_MOVEABLE or GMEM_ZEROINIT, MS.Size);

    if TextHandle = 0 then
      raise Exception.Create('Speicher konnte nicht zugewiesen werden.');

    try
      TextPtr := GlobalLock(TextHandle);

      if Assigned(TextPtr)
        then begin
               Move(MS.Memory^, TextPtr^, MS.Size);
               GlobalUnlock(TextHandle);

               SendMessage(Memo1.Handle, EM_SETHANDLE, WPARAM(TextHandle), 0);

// optional               Memo1.Perform(WM_VSCROLL, SB_TOP, 0); // Nach oben scrollen
               Memo1.Repaint; // Neuzeichnen
             end
        else raise Exception.Create('Fehler beim Sperren des Speichers.');
    except
      GlobalFree(TextHandle);
      raise;
    end;
  finally
    MS.Free;
  end;
end;

Für Risiken und Nebenwirkungen...

Grüsse Mavarik :coder:

[jaenicke]

Zitat:

Zitat von AJ_Oldendorf (Beitrag 1545469)

Konkret geht es um eine Art Textdatei, die ca 500MB groß ist und Zeilenorientiert ist.
Ich will natürlich die VCL damit so wenig wie möglich belasten, daher meine Frage

Kann es sein, dass das eine Logdatei ist? Dann wäre eine Möglichkeit, eine VirtualStringTree zu verwenden. Das benötigt etwas Einarbeitung, aber dafür ist die sehr schnell.

Ich habe damit z.B. damals eine 2,5 Millionen Zeilen Registrydatei (160 MiB) von einer Festplatte in 2,6 Sekunden in diesem Projekt eingelesen, geparst und angezeigt:
https://entwickler-ecke.de/viewtopic.php?t=93084
Heute ginge das mit neuem PC und SSD vermutlich noch deutlich schneller.

// EDIT:
Gerade getestet...
5 Millionen Zeilen, 654 MiB, unter 2 Sekunden...

[Uwe Raabe]

Wenn es nur um die Anzeige geht könnte man auch eine virtuelle Listbox verwenden, wobei die Daten dann in einer TStringList (z.B.

Delphi-Quellcode:

FData

) gespeichert werden.

Dazu muss bei der Listbox der Style auf lbVirtual gesetzt und der OnData-Event implementiert werden.

Delphi-Quellcode:

procedure TForm1.ListBox1Data(Control: TWinControl; Index: Integer; var Data: string);
begin
  Data := FData[Index];
end;

Das Laden der Datei sähe dann so aus:

Delphi-Quellcode:

  var FileName := <filename>;
  FData.AddStrings(TFile.ReadAllLines(FileName)); // hier muss es tatsächlich ReadAllLines sein
  ListBox1.Count := FData.Count;

[himitsu]

schnell und ... also 500 MB Text in ein TMemo, das kann beim Laden auch locker 2,5 Mal so viel RAM verbrauchen und bei einer 32 Bit APP ist man damit bereits über'm Limit.


dass es schnell und sparsam geht, auch bei mehreren hundert Gigabyte,
siehe https://mh-nexus.de/de/hxd/ (ja, das Programm wurde mit Delphi)
oder siehe einige mehrerer Threads, hier im Forum, bezüglich solcher Themen.

Wie bereits bemerkt
* nur Teile laden (was man grade sieht)
* die Daten virtuell und nicht direkt komplett in der visuellen Komponente

[AJ_Oldendorf]

Danke für die vielen Tipps und Anregungen.
VirtualStringTree ist echt eine Überlegung wert, daran habe ich noch gar nicht gedacht. Den habe ich auch im Einsatz und Einarbeitung ist da kein Problem mehr. Danke nochmal für die Tipps