Memo1.Lines.Text := TFile.ReadAllLines(Filename); Also ist das die schnellste Variante?
Gibt es denn noch ein Weg, partiell zu laden?
Konkret geht es um eine Art Textdatei, die ca 500MB groß ist und Zeilenorientiert ist.
Ich will natürlich die VCL damit so wenig wie möglich belasten, daher meine Frage

Muss es denn TMemo sein? Wenn es nur um das anzeigen geht wie im Titel dann gibt es deutlich schnelleres.

Was wäre denn ein deutlich schnelleres Element, dass einen Text von 500 MB scrollbar anzeigt?

Zitat von AJ_Oldendorf:

Gibt es denn noch ein Weg, partiell zu laden?
Konkret geht es um eine Art Textdatei, die ca 500MB groß ist und Zeilenorientiert ist.

Ist ja bereits gesagt: Du solltest erstmal prüfen, wie sich der Anteil der Gesamtzeit auf das Laden und die Darstellung im Memo aufteilt. Threads haben auch einen gewissen Overhead, der am Ende womöglich zu einem negativen Effekt führt.

Ein einfacher Test wäre:

markieren

Delphi-Quellcode:

  var FileName := <filename>;
  var sw := TStopwatch.StartNew;
  var S := TFile.ReadAllText(FileName);
  var t1 := sw.ElapsedMilliseconds;
  sw := TStopwatch.StartNew;
  Memo1.Lines.Text := S;
  var t2 := sw.ElapsedMilliseconds;
  ShowMessage(Format('%d:%d', [t1, t2]));

Bei mir ist mit einer 613kB großen Datei t1 = 2 und t2 = 784. Da lohnt sich ein separater Thread auf gar keinen Fall. Erst wenn t1 ein Vielfaches von t2 wäre könnte man vielleicht darüber nachdenken.

BTW, bei der Zuweisung zu Text muss es natürlich ReadAllText heißen und nicht ReadAllLines! Das hatte ich falsch kopiert.

Zitat von AJ_Oldendorf:

Memo1.Lines.Text := TFile.ReadAllLines(Filename); Also ist das die schnellste Variante?

hmm... Es könnte schneller gehen, aber ich denke Uwe's Beispiel war schon gut...

Daher nimm das hier lieber nicht in Deinen Code...
Aber:
Wenn die Daten "optimal" vorliegen und natürlich nur auf Windows, dann könnte es so schneller gehen - hab's nicht gemessen.

zusammenfalten · markieren

Delphi-Quellcode:

procedure TForm97.Button2Click(Sender: TObject);
var
  MS : TMemoryStream;
  TextHandle : THandle;
  TextPTR : PChar;
begin
  MS := TMemoryStream.Create;
  try
    MS.LoadFromFile('Temp.txt');

    TextHandle := GlobalAlloc(GMEM_MOVEABLE or GMEM_ZEROINIT, MS.Size);

    if TextHandle = 0 then
      raise Exception.Create('Speicher konnte nicht zugewiesen werden.');

    try
      TextPtr := GlobalLock(TextHandle);

      if Assigned(TextPtr)
        then begin
               Move(MS.Memory^, TextPtr^, MS.Size);
               GlobalUnlock(TextHandle);

               SendMessage(Memo1.Handle, EM_SETHANDLE, WPARAM(TextHandle), 0);

// optional Memo1.Perform(WM_VSCROLL, SB_TOP, 0); // Nach oben scrollen
               Memo1.Repaint; // Neuzeichnen
             end
        else raise Exception.Create('Fehler beim Sperren des Speichers.');
    except
      GlobalFree(TextHandle);
      raise;
    end;
  finally
    MS.Free;
  end;
end;

Für Risiken und Nebenwirkungen...

Grüsse Mavarik

Zitat von AJ_Oldendorf:

Konkret geht es um eine Art Textdatei, die ca 500MB groß ist und Zeilenorientiert ist.
Ich will natürlich die VCL damit so wenig wie möglich belasten, daher meine Frage

Kann es sein, dass das eine Logdatei ist? Dann wäre eine Möglichkeit, eine VirtualStringTree zu verwenden. Das benötigt etwas Einarbeitung, aber dafür ist die sehr schnell.

Ich habe damit z.B. damals eine 2,5 Millionen Zeilen Registrydatei (160 MiB) von einer Festplatte in 2,6 Sekunden in diesem Projekt eingelesen, geparst und angezeigt:
https://entwickler-ecke.de/viewtopic.php?t=93084
Heute ginge das mit neuem PC und SSD vermutlich noch deutlich schneller.

// EDIT:
Gerade getestet...
5 Millionen Zeilen, 654 MiB, unter 2 Sekunden...

Wenn es nur um die Anzeige geht könnte man auch eine virtuelle Listbox verwenden, wobei die Daten dann in einer TStringList (z.B. FData ) gespeichert werden.

Dazu muss bei der Listbox der Style auf lbVirtual gesetzt und der OnData-Event implementiert werden.

markieren

Delphi-Quellcode:

procedure TForm1.ListBox1Data(Control: TWinControl; Index: Integer; var Data: string);
begin
  Data := FData[Index];
end;

Das Laden der Datei sähe dann so aus:

markieren

Delphi-Quellcode:

  var FileName := <filename>;
  FData.AddStrings(TFile.ReadAllLines(FileName)); // hier muss es tatsächlich ReadAllLines sein
  ListBox1.Count := FData.Count;

schnell und ... also 500 MB Text in ein TMemo, das kann beim Laden auch locker 2,5 Mal so viel RAM verbrauchen und bei einer 32 Bit APP ist man damit bereits über'm Limit.


dass es schnell und sparsam geht, auch bei mehreren hundert Gigabyte,
siehe https://mh-nexus.de/de/hxd/ (ja, das Programm wurde mit Delphi)
oder siehe einige mehrerer Threads, hier im Forum, bezüglich solcher Themen.

Wie bereits bemerkt
* nur Teile laden (was man grade sieht)
* die Daten virtuell und nicht direkt komplett in der visuellen Komponente

Danke für die vielen Tipps und Anregungen.
VirtualStringTree ist echt eine Überlegung wert, daran habe ich noch gar nicht gedacht. Den habe ich auch im Einsatz und Einarbeitung ist da kein Problem mehr. Danke nochmal für die Tipps