32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

[hoika]

Hallo,
für einen Import einer Textdatei (vordefiniertes Format)
lade ich diese Textdatei per StringList.LoadFromFile.

Hier schmiert er mir mit "Arbeitsspeicher voll" ab.
Die Lösung per TextFile bringt es auf 19 Mio. Einträge.

Gibt es eine fertige Alternative zur TStringList?

Ich will jetzt nicht den ganzen Code ändern,
der sequentiell durch die Liste läuft.

Danke


Heiko

[Bernhard Geyer]

19 Mio. Zeilen und wie viel MB hat die Datei?

[stahli]

Wäre das gute alte Text-File mit ReadLn vielleicht eine Alternative - oder wird da auch der gesamte Inhalt gepuffert?

[mkinzler]

Noch bessser in einem Stream.

[Luckie]

Und was kann der Nutzer mit 19 Millionen Zeilen anfangen, wenn er doch so wie so nur 50 sieht? :?

[hoika]

Hallo,

Der Nutzer sieht gar nichts, der Code ist halt auf TStringList zugeschnitten, also wahlfreier Zugriff, nicht nur in einer Richtung.
Das ReadLn mit TextFile sorgt überhaupt erst mal, dass überhaupt etwas in die TStringList kommt.

Ich baue mir jetzt was auf Basis von array of String.

Heiko

[Luckie]

Denkbar ungünstig eine visuelle Komponente zur Datenhaltung zu nutzen. Du hast ja gerade ein gutes Beispiel gegeben. :wink:

[p80286]

Zitat:

Zitat von hoika (Beitrag 1315980)

Hallo,

Der Nutzer sieht gar nichts, der Code ist halt auf TStringList zugeschnitten, also wahlfreier Zugriff, nicht nur in einer Richtung.
Das ReadLn mit TextFile sorgt überhaupt erst mal, dass überhaupt etwas in die TStringList kommt.

Ich baue mir jetzt was auf Basis von array of String.

Heiko

Vielleicht wäre es sinnvoll, uns einmal zu schreiben was Du vorhast. Einen wahlfreien Zugriff auf 19 Mio.Zeilen halte ich für Blödsinn, 100 oder 1000 Zeilen Durchaus für realistisch.
Wenn Du z.B. ein Log verarbeiten willst, ist readln garnicht mal so dumm, dann werden überflüssige Zeilen z.B. gleich beim Einlesen verworfen.

Gruß
K-H

P.S.

Zitat:

Denkbar ungünstig eine visuelle Komponente zur Datenhaltung

TStringlist is visuell??

[Bernhard Geyer]

Zitat:

Zitat von Luckie (Beitrag 1315983)

Denkbar ungünstig eine visuelle Komponente zur Datenhaltung zu nutzen. Du hast ja gerade ein gutes Beispiel gegeben. :wink:

Seit wann ist TStringList eine visuelle Komponente :gruebel:

[hoika]

Hallo,
ich lese eine Datei in eine StringList ein.
Es ist eine BDT-Datei (Medizintechnik).
Sie besteht intern aus Blöcken (10-1000 Zeilen sind ein Block).
Ich suche mir bestimmte Blöcke (Block A) raus, mache was (Import),
fange wieder von vorn an für andere Blöcke, die erst nach dem Import der A-Blöcke gültig sind usw.

Ich will den Code nicht ändern.

Ich habe mir jetzt eine TLargeStringList=class(TStrings) gebaut, muss nur noch überall TStringList durch TStrings ersetzen und hoffen ...

Hauptziel: den Code nur minimal ändern.


Heiko