32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

[BUG]

Da lässt sich noch viel machen

Die Position der Zeilenanfänge kann man nach einem ersten Scan im Speicher halten, das wäre so um die 24 MiB. Dazu kann man einen Zeilen-Cache bauen, dass mit den Blöcken spricht ja für Lokalität im Algorithmus und die 1000 Zeilen kannst du leicht im Speicher halten.
Das Ganze hinter TStrings zu verstecken sollte dann nicht so schwer sein.

[Luckie]

Zitat von Bernhard Geyer:

Seit wann ist TStringList eine visuelle Komponente

Mist. Hatte die ganze Zeit Stringgrid im Kopf.

[hoika]

Hallo,
die Größe ist 500 MB, könnten aber auch 5 GB werden.
Das ist extrem alter Code, klar könnte ich was ändern,
aber warum, es gibt genügend andere Stellen ...


Heiko

[Sir Rufo]

Wenn du nur sequentiell durch die Zeilen gehst, wäre da ein TEnumerable<string> nicht ausreichend?

[hoika]

Hallo,
an einer Stelle wird leider StringList.Text verwendet -> Puff.
Ah ja, leider vergass ich, dass es sich hier (noch) um D2007 handelt,
also keine Generics.

Aber wie gesagt, es läuft.

Morgen kommen noch ein paar Unit-Tests dazu, dann zeig ich mal die neue Unit LargeStringList.pas ( ).


Heiko

[Dejan Vu]

Das sieht man mal, wie praktisch es ist, nur gegen ein Interface zu programmieren (hier: Basisklasse).
Wenn die verwendete Implementierung dann nicht mehr ausreicht: Wupps! Ausgetauscht, läuft!

[Sir Rufo]

Zitat von hoika:

an einer Stelle wird leider StringList.Text verwendet -> Puff.

Aber dann wird dort ja der gesamte Text als Rückgabe erwartet, womit man wieder die gesamte Datei im Speicher hat ... es sei denn, man verbiegt die Bedeutung von TStrings.Text und liefert dort nur einen Teil ...

Da würde ich eher auf eine andere Lösung setzen und eine Klasse erstellen, die so ähnlich wie TStrings arbeitet aber eben kein TStrings ist.

Ok, bevor wir meckern, warten wir auf die Vorstellung von TLargeStringList = class( TStrings )

[OlafSt]

Ganz ehrlich: Ich würde den bisherigen Importer eliminieren und das ganze neu (und vor allem sauber) implementieren. Als das damals gebaut wurde, waren 5MB vielleicht große Dateien. Solche Files kann man mit TStringList noch einigermaßen handeln, aber alles darüber wird zur Laufzeit-Qual. Heute sind 5GB große Files kein Thema mehr und in 8 Jahren sind es 5TB große Files. kommt deine LargeStringList damit auch klar, ohne vom Benutzer verlangen zu müssen, er soll n paar RAM-Riegel nachstecken ?

Letztendlich versuchst du, denselben Unsinn (Datei komplett im Speicher) nur auf anderem Weg zu implementieren. Das wird vermutlich scheitern oder bestenfalls eine wenig effiziente Lösung werden. Besser, du investierst deine Zeit in eine Art Parser, der einmal durch die Datei durchgeht, in verschiedenen Listen sich merkt, in welchen Zeilen welcher Satz steht, die A-Sätze schon mal verarbeitet und im zweiten Lauf dann die anderen Sätze dazusortiert. Dann ist es auch fast egal, ob das File 5MB, 5GB oder 5PB groß ist.

Solche Umbau-Arien sind normal, wenn man alte bis sehr alte Projekte bearbeitet. Ich mach das seit Jahren und treffe immer wieder auf solche Stolperfallen.

[p80286]

In "sehr alten" Projekten wird wahrscheinlich keine Stringlist eingesetzt, darum laufen die wohl immer noch

Gruß
K-H

[OlafSt]

Dann ist es aber wohl kein Delphi-Programm TStringList gibt es schon seit D2 (weiter hatte ich keine Lust zu recherchieren). Ich denke eher, das in so einem "sehr alten" Projekt jemand saß, der etwas weiter als 2-3 Jahre gedacht hat