Umgang mit großen Textdateien

[Mikkey]

Vielleicht kannst du irgendwo die Quelle von 'sed' ('Stream EDitor' Bestandteil von Unix) auftreiben. Nach meiner Erinnerung arbeitete das Teil selbst auf den damals noch recht gemächlichen Rechnern wirklich schnell.

[Jumpy]

Ich hatte mal mit der Suche gesucht, bevor ich hier den Thread eröffnet habe, aber nix gefunden. Hab mich wahrscheinlich vertippt oder so. Gerade mal mit anderem Stichwort 2 ähnl. Beiträge gefunden, die mir vllt. helfen:

http://www.delphipraxis.net/124270-s...rchsuchen.html

http://www.delphipraxis.net/168618-s...n-dateien.html

Da wird u.a. auch Franks Vorschlag gehandelt.

@Uwe: Statt D6 hätte ich ggf. noch die Möglichkeit D2010 zu benutzen.

UltraEdit schau ich mir mal an wie damit die Performance ist. Noch hab ich die Dateien ja hier liegen.

Eigenes Tool hätte natürlich den Charme, das bestimmte Suchstrings schon vorbereitet sein könnten. Da in mindestens einem Fall auch ein CR und/oder LF innerhalb des Suchstrings war, war das auch schon wieder kompliziert sich den Suchstring im Suchen/Erstzen Dialog zusammenzubasteln.

[Bjoerk]

Wenn es nur ums Suchen und Ersetzen (non visuell) geht würde ich die Datei mit Sebastians TSJMmfFileReader in eine von TList ableitete Klasse einlesen (Capayity setzen !). Stringreplace ist auch ziemlich langsam und bei IgnoreCase wird erst mal noch eine Kopie erstellt. Deshalb würd' ich auch eine eigene Stringreplace schreiben, da du vermutlich auch "nur ganze Wörter ersetzen" brauchst?

[himitsu]

Vor paar Jahren hatte ich mal eine kleine Klasse geschrieben, welche große Textdateien Stückchenweise bearbeiten konnte.

Genauer konnte man da z.B. Ausschnitte aus der Datei als TStringList rausholen, diese bearbeiten und wieder einfügen, wobei die nachfolgenden Bereiche entsprechend verschoben werden.

War irgendwo um die Zeit, wo auch das da http://www.delphipraxis.net/151481-t...inlesen-5.html entstand.
Find es jetzt nur auf die schnelle nicht (hieß wohl TPart.... oder so) und mein Server ist leider auch noch nicht wieder da, isses grad etwas umständlich in den alten Quellcodes zu suchen.




Wenn du Zeilen einfügst, entfernst oder deren Länge änderst, dann darfst du nicht vergessen, daß dann auch der komplette Speicher dahinter ebenfalls betroffen ist.
Aus diesem Grund gehen "viele" da den einfachen Weg.
Sie lesen die Datei zeilenweise ein, verarbeiten dabei die Zeilen, schreiben das Ergebnis in eine neue Datei und tauschen am Ende die Dateien aus.


Wenn man genügend "virtuellen" Arbeitsspeicher hat (64-Bit-Programm), dann kann man diese großen Dateien auch als MMF laden (dabei sorgt Windows dafür, welche Teile im wirklich RAM liegen) und kann dann alles, wie in einem großen PChar suchen und bearbeiten.
Bei weniger "virtuellem" Arbeitsspeicher, kann man die Datei nur stückchenweise in den Speicher mappen, da man keinen Bereich finden wird, wo das als ein Stück reinpaßt.