Sorry für die unglückliche Aussage. Es stimmt natürlich, die Anzeige (VCL) ist das Problem.
Mir ging es in erster Linie wirklich um den Umbau des Ladens auf Thread.
Die Anzeige muss ich auch noch etwas machen, damit das evtl. nur das anzeigt was grad interessant ist (Abschnitt) und dann je nach scrollen etc. nachlädt.

Zitat:

virtual list box-Modus

Das muss ich mal gucken was das ist. Sagt mir aktuell nichts

Das Laden wird so oder so ganz bestimmt schneller sein, als die Übergabe an das Memo.
So gesehn, ist der Thread also eigentlich nahezu nutzlos, da der langsamere Teil sowieso sychronisiert werden muß.

Memo.Lines.LoadFromFile(Filename);

var X := TFile.ReadAllLines(Filename); Memo.Lines.AddString(X);

Was die Performance beim Füllen eines TMemo angeht, ist wohl das Memo1.Lines.Text := TFile.ReadAllLines(Filename); ein guter Ansatz.

Da TMemo.Lines mit TMemoStrings implementiert ist und das dortige SetTextStr nur einen einzigen SendTextMessage(.., WM_SETTEXT,...) Call macht, ist das bei vielen Zeilen in der Regel deutlich schneller als Assign oder AddStrings. Letztere laufen intern auf ein Insert hinaus, das für jede Zeile 2 - 4 Messages benötigt.

Memo1.Lines.Text := TFile.ReadAllLines(Filename); Also ist das die schnellste Variante?
Gibt es denn noch ein Weg, partiell zu laden?
Konkret geht es um eine Art Textdatei, die ca 500MB groß ist und Zeilenorientiert ist.
Ich will natürlich die VCL damit so wenig wie möglich belasten, daher meine Frage

Muss es denn TMemo sein? Wenn es nur um das anzeigen geht wie im Titel dann gibt es deutlich schnelleres.

Was wäre denn ein deutlich schnelleres Element, dass einen Text von 500 MB scrollbar anzeigt?

Zitat von AJ_Oldendorf:

Gibt es denn noch ein Weg, partiell zu laden?
Konkret geht es um eine Art Textdatei, die ca 500MB groß ist und Zeilenorientiert ist.

Ist ja bereits gesagt: Du solltest erstmal prüfen, wie sich der Anteil der Gesamtzeit auf das Laden und die Darstellung im Memo aufteilt. Threads haben auch einen gewissen Overhead, der am Ende womöglich zu einem negativen Effekt führt.

Ein einfacher Test wäre:

markieren

Delphi-Quellcode:

  var FileName := <filename>;
  var sw := TStopwatch.StartNew;
  var S := TFile.ReadAllText(FileName);
  var t1 := sw.ElapsedMilliseconds;
  sw := TStopwatch.StartNew;
  Memo1.Lines.Text := S;
  var t2 := sw.ElapsedMilliseconds;
  ShowMessage(Format('%d:%d', [t1, t2]));

Bei mir ist mit einer 613kB großen Datei t1 = 2 und t2 = 784. Da lohnt sich ein separater Thread auf gar keinen Fall. Erst wenn t1 ein Vielfaches von t2 wäre könnte man vielleicht darüber nachdenken.

BTW, bei der Zuweisung zu Text muss es natürlich ReadAllText heißen und nicht ReadAllLines! Das hatte ich falsch kopiert.

Zitat von AJ_Oldendorf:

Memo1.Lines.Text := TFile.ReadAllLines(Filename); Also ist das die schnellste Variante?

hmm... Es könnte schneller gehen, aber ich denke Uwe's Beispiel war schon gut...

Daher nimm das hier lieber nicht in Deinen Code...
Aber:
Wenn die Daten "optimal" vorliegen und natürlich nur auf Windows, dann könnte es so schneller gehen - hab's nicht gemessen.

zusammenfalten · markieren

Delphi-Quellcode:

procedure TForm97.Button2Click(Sender: TObject);
var
  MS : TMemoryStream;
  TextHandle : THandle;
  TextPTR : PChar;
begin
  MS := TMemoryStream.Create;
  try
    MS.LoadFromFile('Temp.txt');

    TextHandle := GlobalAlloc(GMEM_MOVEABLE or GMEM_ZEROINIT, MS.Size);

    if TextHandle = 0 then
      raise Exception.Create('Speicher konnte nicht zugewiesen werden.');

    try
      TextPtr := GlobalLock(TextHandle);

      if Assigned(TextPtr)
        then begin
               Move(MS.Memory^, TextPtr^, MS.Size);
               GlobalUnlock(TextHandle);

               SendMessage(Memo1.Handle, EM_SETHANDLE, WPARAM(TextHandle), 0);

// optional Memo1.Perform(WM_VSCROLL, SB_TOP, 0); // Nach oben scrollen
               Memo1.Repaint; // Neuzeichnen
             end
        else raise Exception.Create('Fehler beim Sperren des Speichers.');
    except
      GlobalFree(TextHandle);
      raise;
    end;
  finally
    MS.Free;
  end;
end;

Für Risiken und Nebenwirkungen...

Grüsse Mavarik

Zitat von AJ_Oldendorf:

Konkret geht es um eine Art Textdatei, die ca 500MB groß ist und Zeilenorientiert ist.
Ich will natürlich die VCL damit so wenig wie möglich belasten, daher meine Frage

Kann es sein, dass das eine Logdatei ist? Dann wäre eine Möglichkeit, eine VirtualStringTree zu verwenden. Das benötigt etwas Einarbeitung, aber dafür ist die sehr schnell.

Ich habe damit z.B. damals eine 2,5 Millionen Zeilen Registrydatei (160 MiB) von einer Festplatte in 2,6 Sekunden in diesem Projekt eingelesen, geparst und angezeigt:
https://entwickler-ecke.de/viewtopic.php?t=93084
Heute ginge das mit neuem PC und SSD vermutlich noch deutlich schneller.

// EDIT:
Gerade getestet...
5 Millionen Zeilen, 654 MiB, unter 2 Sekunden...

Wenn es nur um die Anzeige geht könnte man auch eine virtuelle Listbox verwenden, wobei die Daten dann in einer TStringList (z.B. FData ) gespeichert werden.

Dazu muss bei der Listbox der Style auf lbVirtual gesetzt und der OnData-Event implementiert werden.

markieren

Delphi-Quellcode:

procedure TForm1.ListBox1Data(Control: TWinControl; Index: Integer; var Data: string);
begin
  Data := FData[Index];
end;

Das Laden der Datei sähe dann so aus:

markieren

Delphi-Quellcode:

  var FileName := <filename>;
  FData.AddStrings(TFile.ReadAllLines(FileName)); // hier muss es tatsächlich ReadAllLines sein
  ListBox1.Count := FData.Count;