AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren

Umgang mit großen Textdateien

Ein Thema von Jumpy · begonnen am 6. Nov 2013 · letzter Beitrag vom 6. Nov 2013
Antwort Antwort
Jumpy

Registriert seit: 9. Dez 2010
Ort: Mönchengladbach
1.735 Beiträge
 
Delphi 6 Enterprise
 
#1

Umgang mit großen Textdateien

  Alt 6. Nov 2013, 14:28
Hallo,

wir hatten am WE das Problem, große (>1GB) Textdateien editieren zu müssen. Da mussten bestimmte Stellen gesucht werden, an denen dann ein paar zusätzliche Zeilen oder eingefügt wurden. Oder ein bestimmtes Wort musste ersetzt werden. Vllt. max 10 Ersetzungen / Vorgänge pro Datei, also nicht viel.

Es handelte sich um Exporte aus einer Datenbank, die vor dem Import in eine andere Datenbank angepasst werden mussten.

Dabei hatten wir echt Probleme einen Editor zu finden mit dem das ging. Unsere üblichen Verdächtigen (Word,PSPad,Notepad++) gingen dabei in die Knie. Zum Glück hatte ein Kollege noch einen Uralteditor auf seinem PC rumfliegen, mit dem das dann ging. Der hat aber ewig zum laden und speichern gebraucht, die Ersetzungen gingen dafür halbwegs schnell (hieß K-Edit oder so mein ich).

Es kam nun die Idee auf, ein kleines Delphi-Programm selber zu schreiben, das man mit den 3-4 verschiedenen Vorgängen die wir so brauchen auf die Datei los läßt.
Wir würde man sowas den effektiv machen? Das ganze in eine TStringlist zu laden, diese Zeile für Zeile durchzugehen und zu editieren und dann wieder zu speichern, kommt mir nicht effektiv vor.
Ralph
  Mit Zitat antworten Zitat
Benutzerbild von Sherlock
Sherlock

Registriert seit: 10. Jan 2006
Ort: Offenbach
3.791 Beiträge
 
Delphi 12 Athens
 
#2

AW: Umgang mit großen Textdateien

  Alt 6. Nov 2013, 14:37
Wäre aber der richtige Weg, weil Du das sehr einfach aus dem TStream (den Du zum lesen/schreiben der Datei verwendest) rausbekommst.

Sherlock
Oliver
Geändert von Sherlock (Morgen um 16:78 Uhr) Grund: Weil ich es kann
  Mit Zitat antworten Zitat
Benutzerbild von Uwe Raabe
Uwe Raabe

Registriert seit: 20. Jan 2006
Ort: Lübbecke
11.367 Beiträge
 
Delphi 12 Athens
 
#3

AW: Umgang mit großen Textdateien

  Alt 6. Nov 2013, 14:42
Wirklich Delphi 6? Aber gut.

TStringList kommt nicht wirklich in Frage, da du für das Laden der 1Gb sicher auch eine ganze Weile brauchst. Außerdem wäre da auch bei 2GB spätestens Schluss. Ein ausreichend fragmentierte Speicher macht da schon vorher dicht.

Bei neueren Delphi würde man vielleicht auf TTextReader/TTextWriter setzen.

Bei den Editoren würde ich UltraEdit empfehlen. Der lädt bei großen Dateien immer nur einen Teil in den Editor. Ist jetzt nicht soooo teuer.
Uwe Raabe
Certified Delphi Master Developer
Embarcadero MVP
Blog: The Art of Delphi Programming
  Mit Zitat antworten Zitat
Perlsau
(Gast)

n/a Beiträge
 
#4

AW: Umgang mit großen Textdateien

  Alt 6. Nov 2013, 14:45
Das ganze in eine TStringlist zu laden, diese Zeile für Zeile durchzugehen und zu editieren und dann wieder zu speichern, kommt mir nicht effektiv vor.
Vielleicht geht's ja schneller, wenn du statt der einzelnen Zeilen den kompletten Text durchsuchst?

Delphi-Quellcode:
MyList.LoadFromFile(Datei);
MyList.Text := System.SysUtils.StringReplace(MyList.Text, OldWord, NewWord, rfReplaceAll);
Manchmal sollte man vielleicht doch erst die neu erstellten Beiträge lesen, bevor man postet

Geändert von Perlsau ( 6. Nov 2013 um 14:48 Uhr)
  Mit Zitat antworten Zitat
Mikkey

Registriert seit: 5. Aug 2013
265 Beiträge
 
#5

AW: Umgang mit großen Textdateien

  Alt 6. Nov 2013, 14:57
Vielleicht kannst du irgendwo die Quelle von 'sed' ('Stream EDitor' Bestandteil von Unix) auftreiben. Nach meiner Erinnerung arbeitete das Teil selbst auf den damals noch recht gemächlichen Rechnern wirklich schnell.
  Mit Zitat antworten Zitat
Jumpy

Registriert seit: 9. Dez 2010
Ort: Mönchengladbach
1.735 Beiträge
 
Delphi 6 Enterprise
 
#6

AW: Umgang mit großen Textdateien

  Alt 6. Nov 2013, 15:38
Ich hatte mal mit der Suche gesucht, bevor ich hier den Thread eröffnet habe, aber nix gefunden. Hab mich wahrscheinlich vertippt oder so. Gerade mal mit anderem Stichwort 2 ähnl. Beiträge gefunden, die mir vllt. helfen:

http://www.delphipraxis.net/124270-s...rchsuchen.html

http://www.delphipraxis.net/168618-s...n-dateien.html

Da wird u.a. auch Franks Vorschlag gehandelt.

@Uwe: Statt D6 hätte ich ggf. noch die Möglichkeit D2010 zu benutzen.

UltraEdit schau ich mir mal an wie damit die Performance ist. Noch hab ich die Dateien ja hier liegen.

Eigenes Tool hätte natürlich den Charme, das bestimmte Suchstrings schon vorbereitet sein könnten. Da in mindestens einem Fall auch ein CR und/oder LF innerhalb des Suchstrings war, war das auch schon wieder kompliziert sich den Suchstring im Suchen/Erstzen Dialog zusammenzubasteln.
Ralph
  Mit Zitat antworten Zitat
Bjoerk

Registriert seit: 28. Feb 2011
Ort: Mannheim
1.384 Beiträge
 
Delphi 10.4 Sydney
 
#7

AW: Umgang mit großen Textdateien

  Alt 6. Nov 2013, 15:48
Wenn es nur ums Suchen und Ersetzen (non visuell) geht würde ich die Datei mit Sebastians TSJMmfFileReader in eine von TList ableitete Klasse einlesen (Capayity setzen !). Stringreplace ist auch ziemlich langsam und bei IgnoreCase wird erst mal noch eine Kopie erstellt. Deshalb würd' ich auch eine eigene Stringreplace schreiben, da du vermutlich auch "nur ganze Wörter ersetzen" brauchst?
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
43.868 Beiträge
 
Delphi 12 Athens
 
#8

AW: Umgang mit großen Textdateien

  Alt 6. Nov 2013, 16:05
Vor paar Jahren hatte ich mal eine kleine Klasse geschrieben, welche große Textdateien Stückchenweise bearbeiten konnte.

Genauer konnte man da z.B. Ausschnitte aus der Datei als TStringList rausholen, diese bearbeiten und wieder einfügen, wobei die nachfolgenden Bereiche entsprechend verschoben werden.

War irgendwo um die Zeit, wo auch das da http://www.delphipraxis.net/151481-t...inlesen-5.html entstand.
Find es jetzt nur auf die schnelle nicht (hieß wohl TPart.... oder so) und mein Server ist leider auch noch nicht wieder da, isses grad etwas umständlich in den alten Quellcodes zu suchen.




Wenn du Zeilen einfügst, entfernst oder deren Länge änderst, dann darfst du nicht vergessen, daß dann auch der komplette Speicher dahinter ebenfalls betroffen ist.
Aus diesem Grund gehen "viele" da den einfachen Weg.
Sie lesen die Datei zeilenweise ein, verarbeiten dabei die Zeilen, schreiben das Ergebnis in eine neue Datei und tauschen am Ende die Dateien aus.


Wenn man genügend "virtuellen" Arbeitsspeicher hat (64-Bit-Programm), dann kann man diese großen Dateien auch als MMF laden (dabei sorgt Windows dafür, welche Teile im wirklich RAM liegen) und kann dann alles, wie in einem großen PChar suchen und bearbeiten.
Bei weniger "virtuellem" Arbeitsspeicher, kann man die Datei nur stückchenweise in den Speicher mappen, da man keinen Bereich finden wird, wo das als ein Stück reinpaßt.
Garbage Collector ... Delphianer erzeugen keinen Müll, also brauchen sie auch keinen Müllsucher.
my Delphi wish list : BugReports/FeatureRequests

Geändert von himitsu ( 6. Nov 2013 um 16:11 Uhr)
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 15:54 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz