32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

[hoika]

Hallo,

Der Nutzer sieht gar nichts, der Code ist halt auf TStringList zugeschnitten, also wahlfreier Zugriff, nicht nur in einer Richtung.
Das ReadLn mit TextFile sorgt überhaupt erst mal, dass überhaupt etwas in die TStringList kommt.

Ich baue mir jetzt was auf Basis von array of String.

Heiko

[Luckie]

Denkbar ungünstig eine visuelle Komponente zur Datenhaltung zu nutzen. Du hast ja gerade ein gutes Beispiel gegeben.

[Bernhard Geyer]

Zitat von Luckie:

Denkbar ungünstig eine visuelle Komponente zur Datenhaltung zu nutzen. Du hast ja gerade ein gutes Beispiel gegeben.

Seit wann ist TStringList eine visuelle Komponente

[hoika]

Hallo,
ich lese eine Datei in eine StringList ein.
Es ist eine BDT-Datei (Medizintechnik).
Sie besteht intern aus Blöcken (10-1000 Zeilen sind ein Block).
Ich suche mir bestimmte Blöcke (Block A) raus, mache was (Import),
fange wieder von vorn an für andere Blöcke, die erst nach dem Import der A-Blöcke gültig sind usw.

Ich will den Code nicht ändern.

Ich habe mir jetzt eine TLargeStringList=class(TStrings) gebaut, muss nur noch überall TStringList durch TStrings ersetzen und hoffen ...

Hauptziel: den Code nur minimal ändern.


Heiko

[BUG]

Da lässt sich noch viel machen

Die Position der Zeilenanfänge kann man nach einem ersten Scan im Speicher halten, das wäre so um die 24 MiB. Dazu kann man einen Zeilen-Cache bauen, dass mit den Blöcken spricht ja für Lokalität im Algorithmus und die 1000 Zeilen kannst du leicht im Speicher halten.
Das Ganze hinter TStrings zu verstecken sollte dann nicht so schwer sein.

[Luckie]

Zitat von Bernhard Geyer:

Seit wann ist TStringList eine visuelle Komponente

Mist. Hatte die ganze Zeit Stringgrid im Kopf.

[hoika]

Hallo,
die Größe ist 500 MB, könnten aber auch 5 GB werden.
Das ist extrem alter Code, klar könnte ich was ändern,
aber warum, es gibt genügend andere Stellen ...


Heiko

[Sir Rufo]

Wenn du nur sequentiell durch die Zeilen gehst, wäre da ein TEnumerable<string> nicht ausreichend?

[hoika]

Hallo,
an einer Stelle wird leider StringList.Text verwendet -> Puff.
Ah ja, leider vergass ich, dass es sich hier (noch) um D2007 handelt,
also keine Generics.

Aber wie gesagt, es läuft.

Morgen kommen noch ein paar Unit-Tests dazu, dann zeig ich mal die neue Unit LargeStringList.pas ( ).


Heiko

[p80286]

Zitat von hoika:

Hallo,

Der Nutzer sieht gar nichts, der Code ist halt auf TStringList zugeschnitten, also wahlfreier Zugriff, nicht nur in einer Richtung.
Das ReadLn mit TextFile sorgt überhaupt erst mal, dass überhaupt etwas in die TStringList kommt.

Ich baue mir jetzt was auf Basis von array of String.

Heiko

Vielleicht wäre es sinnvoll, uns einmal zu schreiben was Du vorhast. Einen wahlfreien Zugriff auf 19 Mio.Zeilen halte ich für Blödsinn, 100 oder 1000 Zeilen Durchaus für realistisch.
Wenn Du z.B. ein Log verarbeiten willst, ist readln garnicht mal so dumm, dann werden überflüssige Zeilen z.B. gleich beim Einlesen verworfen.

Gruß
K-H

P.S.

Zitat:

Denkbar ungünstig eine visuelle Komponente zur Datenhaltung

TStringlist is visuell??