Large Text File Viewer programmieren

[BUG]

Ich würde eine Abbildung zwischen Zeilenpositionen und Blöcken (gleicher Größe) innerhalb der Datei machen.
Dafür würde ich für mir jeden Block, an den ich ausgelesen habe, merken, welche die erste Zeilennummer im Block ist.

Als Blockgröße würde ich 4kB vorschlagen, wenn du eh mit Memory Mapped Files arbeitest.
Der Index wäre dann aber auch relativ groß (ca. 20MB-40MB bei einer 20GB großen Datei).
Bei größeren Blöcken (zB. 4MB) wäre er entsprechend kleiner (20kB-40kB).

Damit würde Springen zu bestimmten Zeilen in der Datei relativ schnell

[Furtbichler]

Zitat von BUG:

Damit würde Springen zu bestimmten Zeilen in der Datei relativ schnell

...nachdem man die gesammte Datei einmal eingelesen hat, vorher nicht

[BUG]

Zitat von Furtbichler:

...nachdem man die gesammte Datei einmal eingelesen hat, vorher nicht

Dann könnte man die anderen Strategien verfolgen und dabei den Index gleich mit aufbauen. Sobald man in der Datei sucht, muss man eh kontinuierlich lesen. Dabei kann man den Index gleich mit aufbauen. Man könnte den Index sogar speichern und bei Dateien, an die nur angehangen wird (bei großen Textdateien nicht unwahrscheinlich), sogar behalten, wenn die sich geändert haben.

[Furtbichler]

Zitat von BUG:

Zitat von Furtbichler:

...nachdem man die gesammte Datei einmal eingelesen hat, vorher nicht

Dann könnte man die anderen Strategien verfolgen und dabei den Index gleich mit aufbauen. Sobald man in der Datei sucht, muss man eh kontinuierlich lesen...

Sag ich doch. Man muss die Datei einmal komplett durchgelesen haben und schnell zu einer bestimmten Zeile zu springen. "Langsam" geht das natürlich sofort.

[p80286]

Es gäbe ja auch die Möglichkeit die ersten Zeilen zu lesen und während der Anzeige in einem zweiten thread weiter zu lesen.

Gruß
K-H

[hitzi]

Luckie hat Recht. Memory Mapped Files machen das Anzeigen großer Dateien zum Kinderspiel. Ich hab das vor einiger Zeit mit dieser Klasse -> http://www.swissdelphicenter.ch/de/p...de.php?id=2013 <- umgesetzt. Damit kann man Teile eine Datei laden und anzeigen lassen ohne die ganze Datei laden zu müssen.

[Neutral General]

Schau mal hier:

http://www.delphipraxis.net/113289-mapped-streams.html

Der TFileStreamEx benutzt Memory Mapped Files. Brauchst nur die Unit runterzuladen und dir eine Instanz des TFileStreamEx erzeugen und kannst dann mit den gewohnten Stream-Methoden auf die Daten zugreifen