Datei von Festplatte via Thread lesen und anzeigen

[AJ_Oldendorf]

Moin,
ich habe eine relativ einfache Frage.
Eine Datei auf der Festplatte wird mittels StringList geladen und in einem Memo angezeigt.
Funktioniert alles wunderbar.
Ich möchte das ganze jetzt aber auf einen Thread umbauen und habe die neuen Funktionen wie WaitFor usw gelesen.
Wie würdet ihr, ein ganz einfaches Konstrukt aufziehen für die obrige Aufgabenstellung, nur eben in ein Thread ausgelagert und nur die Anzeige wird dann von der VCL gemacht.

Delphi 12.2
Windows 11

[jaenicke]

Bist du sicher, dass das Laden von der Festplatte so lange dauert? Das Laden in das Memo wird deutlich länger dauern und genau das kannst du nicht in einem Thread machen.

Zur Frage:
Am einfachsten geht das mit einem anonymen Thread. So ungefähr:

Delphi-Quellcode:

TThread.CreateAnonymousThread(procedure
  var
    Data: TStringList;
  begin
    Data := TStringList.Create;
    try
      Data.LoadFromFile(MyFilenamme);
      TThread.Synchronize(nil, procedure
        begin
          TargetMemo.Lines.Assign(Data);
        end);
    finally
      Data.Free;
    end;
  end).Start;

[Bernhard Geyer]

Zitat:

Zitat von jaenicke (Beitrag 1545462)

Bist du sicher, dass das Laden von der Festplatte so lange dauert? Das Laden in das Memo wird deutlich länger dauern und genau das kannst du nicht in einem Thread machen.

In Zeiten von SSD dürfte das (wenn es nicht GB sind) nicht relevant sein.
Und auch dann dürfte die Anzeige der Limitierende Faktor sein.
Hier dürfte dann das Memo Limitierend sein.
Hier würde sich dann der virtual list box-Modus wichtiger sein, wenn man reine Anzeige und kein Edit benötigt.

[AJ_Oldendorf]

Sorry für die unglückliche Aussage. Es stimmt natürlich, die Anzeige (VCL) ist das Problem.
Mir ging es in erster Linie wirklich um den Umbau des Ladens auf Thread.
Die Anzeige muss ich auch noch etwas machen, damit das evtl. nur das anzeigt was grad interessant ist (Abschnitt) und dann je nach scrollen etc. nachlädt.

Zitat:

virtual list box-Modus

Das muss ich mal gucken was das ist. Sagt mir aktuell nichts

[himitsu]

Das Laden wird so oder so ganz bestimmt schneller sein, als die Übergabe an das Memo.
So gesehn, ist der Thread also eigentlich nahezu nutzlos, da der langsamere Teil sowieso sychronisiert werden muß.

Delphi-Quellcode:

Memo.Lines.LoadFromFile(Filename);

:?:

Delphi-Quellcode:

var X := TFile.ReadAllLines(Filename); Memo.Lines.AddString(X);

:freak:

[Uwe Raabe]

Was die Performance beim Füllen eines TMemo angeht, ist wohl das

Delphi-Quellcode:

Memo1.Lines.Text := TFile.ReadAllLines(Filename);

ein guter Ansatz.

Da TMemo.Lines mit TMemoStrings implementiert ist und das dortige SetTextStr nur einen einzigen SendTextMessage(.., WM_SETTEXT,...) Call macht, ist das bei vielen Zeilen in der Regel deutlich schneller als Assign oder AddStrings. Letztere laufen intern auf ein Insert hinaus, das für jede Zeile 2 - 4 Messages benötigt.

[AJ_Oldendorf]

Delphi-Quellcode:

Memo1.Lines.Text := TFile.ReadAllLines(Filename);

Also ist das die schnellste Variante?
Gibt es denn noch ein Weg, partiell zu laden?
Konkret geht es um eine Art Textdatei, die ca 500MB groß ist und Zeilenorientiert ist.
Ich will natürlich die VCL damit so wenig wie möglich belasten, daher meine Frage

[freimatz]

Muss es denn TMemo sein? Wenn es nur um das anzeigen geht wie im Titel dann gibt es deutlich schnelleres.

[Uwe Raabe]

Zitat:

Zitat von AJ_Oldendorf (Beitrag 1545469)

Gibt es denn noch ein Weg, partiell zu laden?
Konkret geht es um eine Art Textdatei, die ca 500MB groß ist und Zeilenorientiert ist.

Ist ja bereits gesagt: Du solltest erstmal prüfen, wie sich der Anteil der Gesamtzeit auf das Laden und die Darstellung im Memo aufteilt. Threads haben auch einen gewissen Overhead, der am Ende womöglich zu einem negativen Effekt führt.

Ein einfacher Test wäre:

Delphi-Quellcode:

  var FileName := <filename>;
  var sw := TStopwatch.StartNew;
  var S := TFile.ReadAllText(FileName);
  var t1 := sw.ElapsedMilliseconds;
  sw := TStopwatch.StartNew;
  Memo1.Lines.Text := S;
  var t2 := sw.ElapsedMilliseconds;
  ShowMessage(Format('%d:%d', [t1, t2]));

Bei mir ist mit einer 613kB großen Datei t1 = 2 und t2 = 784. Da lohnt sich ein separater Thread auf gar keinen Fall. Erst wenn t1 ein Vielfaches von t2 wäre könnte man vielleicht darüber nachdenken.

BTW, bei der Zuweisung zu Text muss es natürlich ReadAllText heißen und nicht ReadAllLines! Das hatte ich falsch kopiert.

[freejay]

Was wäre denn ein deutlich schnelleres Element, dass einen Text von 500 MB scrollbar anzeigt?

[Mavarik]

Zitat:

Zitat von AJ_Oldendorf (Beitrag 1545469)

Delphi-Quellcode:

Memo1.Lines.Text := TFile.ReadAllLines(Filename);

Also ist das die schnellste Variante?

hmm... Es könnte schneller gehen, aber ich denke Uwe's Beispiel war schon gut...

Daher nimm das hier lieber nicht in Deinen Code...
Aber:
Wenn die Daten "optimal" vorliegen und natürlich nur auf Windows, dann könnte es so schneller gehen - hab's nicht gemessen.

Delphi-Quellcode:

procedure TForm97.Button2Click(Sender: TObject);
var
  MS         : TMemoryStream;
  TextHandle : THandle;
  TextPTR    : PChar;
begin
  MS := TMemoryStream.Create;
  try
    MS.LoadFromFile('Temp.txt');

    TextHandle := GlobalAlloc(GMEM_MOVEABLE or GMEM_ZEROINIT, MS.Size);

    if TextHandle = 0 then
      raise Exception.Create('Speicher konnte nicht zugewiesen werden.');

    try
      TextPtr := GlobalLock(TextHandle);

      if Assigned(TextPtr)
        then begin
               Move(MS.Memory^, TextPtr^, MS.Size);
               GlobalUnlock(TextHandle);

               SendMessage(Memo1.Handle, EM_SETHANDLE, WPARAM(TextHandle), 0);

// optional               Memo1.Perform(WM_VSCROLL, SB_TOP, 0); // Nach oben scrollen
               Memo1.Repaint; // Neuzeichnen
             end
        else raise Exception.Create('Fehler beim Sperren des Speichers.');
    except
      GlobalFree(TextHandle);
      raise;
    end;
  finally
    MS.Free;
  end;
end;

Für Risiken und Nebenwirkungen...

Grüsse Mavarik :coder:

[jaenicke]

Zitat:

Zitat von AJ_Oldendorf (Beitrag 1545469)

Konkret geht es um eine Art Textdatei, die ca 500MB groß ist und Zeilenorientiert ist.
Ich will natürlich die VCL damit so wenig wie möglich belasten, daher meine Frage

Kann es sein, dass das eine Logdatei ist? Dann wäre eine Möglichkeit, eine VirtualStringTree zu verwenden. Das benötigt etwas Einarbeitung, aber dafür ist die sehr schnell.

Ich habe damit z.B. damals eine 2,5 Millionen Zeilen Registrydatei (160 MiB) von einer Festplatte in 2,6 Sekunden in diesem Projekt eingelesen, geparst und angezeigt:
https://entwickler-ecke.de/viewtopic.php?t=93084
Heute ginge das mit neuem PC und SSD vermutlich noch deutlich schneller.

// EDIT:
Gerade getestet...
5 Millionen Zeilen, 654 MiB, unter 2 Sekunden...

[Uwe Raabe]

Wenn es nur um die Anzeige geht könnte man auch eine virtuelle Listbox verwenden, wobei die Daten dann in einer TStringList (z.B.

Delphi-Quellcode:

FData

) gespeichert werden.

Dazu muss bei der Listbox der Style auf lbVirtual gesetzt und der OnData-Event implementiert werden.

Delphi-Quellcode:

procedure TForm1.ListBox1Data(Control: TWinControl; Index: Integer; var Data: string);
begin
  Data := FData[Index];
end;

Das Laden der Datei sähe dann so aus:

Delphi-Quellcode:

  var FileName := <filename>;
  FData.AddStrings(TFile.ReadAllLines(FileName)); // hier muss es tatsächlich ReadAllLines sein
  ListBox1.Count := FData.Count;

[himitsu]

schnell und ... also 500 MB Text in ein TMemo, das kann beim Laden auch locker 2,5 Mal so viel RAM verbrauchen und bei einer 32 Bit APP ist man damit bereits über'm Limit.


dass es schnell und sparsam geht, auch bei mehreren hundert Gigabyte,
siehe https://mh-nexus.de/de/hxd/ (ja, das Programm wurde mit Delphi)
oder siehe einige mehrerer Threads, hier im Forum, bezüglich solcher Themen.

Wie bereits bemerkt
* nur Teile laden (was man grade sieht)
* die Daten virtuell und nicht direkt komplett in der visuellen Komponente

[AJ_Oldendorf]

Danke für die vielen Tipps und Anregungen.
VirtualStringTree ist echt eine Überlegung wert, daran habe ich noch gar nicht gedacht. Den habe ich auch im Einsatz und Einarbeitung ist da kein Problem mehr. Danke nochmal für die Tipps