32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

**stahli**

Wäre das gute alte Text-File mit ReadLn vielleicht eine Alternative - oder wird da auch der gesamte Inhalt gepuffert?

**mkinzler**

Noch bessser in einem Stream.

**Luckie**

Und was kann der Nutzer mit 19 Millionen Zeilen anfangen, wenn er doch so wie so nur 50 sieht?

**hoika**

Hallo,

Der Nutzer sieht gar nichts, der Code ist halt auf TStringList zugeschnitten, also wahlfreier Zugriff, nicht nur in einer Richtung.
Das ReadLn mit TextFile sorgt überhaupt erst mal, dass überhaupt etwas in die TStringList kommt.

Ich baue mir jetzt was auf Basis von array of String.

Heiko

**Luckie**

Denkbar ungünstig eine visuelle Komponente zur Datenhaltung zu nutzen. Du hast ja gerade ein gutes Beispiel gegeben.

**Bernhard Geyer**

Zitat von Luckie:

Denkbar ungünstig eine visuelle Komponente zur Datenhaltung zu nutzen. Du hast ja gerade ein gutes Beispiel gegeben.

Seit wann ist TStringList eine visuelle Komponente

**hoika**

Hallo,
ich lese eine Datei in eine StringList ein.
Es ist eine BDT-Datei (Medizintechnik).
Sie besteht intern aus Blöcken (10-1000 Zeilen sind ein Block).
Ich suche mir bestimmte Blöcke (Block A) raus, mache was (Import),
fange wieder von vorn an für andere Blöcke, die erst nach dem Import der A-Blöcke gültig sind usw.

Ich will den Code nicht ändern.

Ich habe mir jetzt eine TLargeStringList=class(TStrings) gebaut, muss nur noch überall TStringList durch TStrings ersetzen und hoffen ...

Hauptziel: den Code nur minimal ändern.

Heiko

**BUG**

Da lässt sich noch viel machen

Die Position der Zeilenanfänge kann man nach einem ersten Scan im Speicher halten, das wäre so um die 24 MiB. Dazu kann man einen Zeilen-Cache bauen, dass mit den Blöcken spricht ja für Lokalität im Algorithmus und die 1000 Zeilen kannst du leicht im Speicher halten.
Das Ganze hinter TStrings zu verstecken sollte dann nicht so schwer sein.

**Luckie**

Zitat von Bernhard Geyer:

Seit wann ist TStringList eine visuelle Komponente

Mist. Hatte die ganze Zeit Stringgrid im Kopf.

**hoika**

Hallo,
die Größe ist 500 MB, könnten aber auch 5 GB werden.
Das ist extrem alter Code, klar könnte ich was ändern,
aber warum, es gibt genügend andere Stellen ...

Heiko

32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

Forumregeln

stahli Registriert seit: 26. Nov 2003 Ort: Halle/Saale 4.358 Beiträge Delphi 11 Alexandria	#1 AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen 16. Sep 2015, 15:14 Wäre das gute alte Text-File mit ReadLn vielleicht eine Alternative - oder wird da auch der gesamte Inhalt gepuffert? Stahli http://www.StahliSoft.de --- "Jetzt muss ich seh´n, dass ich kein Denkfehler mach...!?" Dittsche (2004)
	Zitat

mkinzler (Moderator) Registriert seit: 9. Dez 2005 Ort: Heilbronn 39.880 Beiträge Delphi 11 Alexandria	#2 AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen 16. Sep 2015, 15:16 Noch bessser in einem Stream. Markus Kinzler
	Zitat

Luckie Registriert seit: 29. Mai 2002 37.621 Beiträge Delphi 2006 Professional	#3 AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen 16. Sep 2015, 15:17 Und was kann der Nutzer mit 19 Millionen Zeilen anfangen, wenn er doch so wie so nur 50 sieht? Michael Ein Teil meines Codes würde euch verunsichern.
	Zitat

hoika Registriert seit: 5. Jul 2006 Ort: Magdeburg 8.277 Beiträge Delphi 10.4 Sydney	#4 AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen 16. Sep 2015, 15:20 Hallo, Der Nutzer sieht gar nichts, der Code ist halt auf TStringList zugeschnitten, also wahlfreier Zugriff, nicht nur in einer Richtung. Das ReadLn mit TextFile sorgt überhaupt erst mal, dass überhaupt etwas in die TStringList kommt. Ich baue mir jetzt was auf Basis von array of String. Heiko Heiko
	Zitat

Luckie Registriert seit: 29. Mai 2002 37.621 Beiträge Delphi 2006 Professional	#5 AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen 16. Sep 2015, 15:24 Denkbar ungünstig eine visuelle Komponente zur Datenhaltung zu nutzen. Du hast ja gerade ein gutes Beispiel gegeben. Michael Ein Teil meines Codes würde euch verunsichern.
	Zitat

Bernhard Geyer Registriert seit: 13. Aug 2002 17.232 Beiträge Delphi 10.4 Sydney	#6 AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen 16. Sep 2015, 15:28 Zitat von Luckie: Denkbar ungünstig eine visuelle Komponente zur Datenhaltung zu nutzen. Du hast ja gerade ein gutes Beispiel gegeben. Seit wann ist TStringList eine visuelle Komponente Windows Vista - Eine neue Erfahrung in Fehlern.
	Zitat

Luckie Registriert seit: 29. Mai 2002 37.621 Beiträge Delphi 2006 Professional	#9 AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen 16. Sep 2015, 19:52 Zitat von Bernhard Geyer: Seit wann ist TStringList eine visuelle Komponente Mist. Hatte die ganze Zeit Stringgrid im Kopf. Michael Ein Teil meines Codes würde euch verunsichern.
	Zitat

hoika Registriert seit: 5. Jul 2006 Ort: Magdeburg 8.277 Beiträge Delphi 10.4 Sydney	#10 AW: 32 Bit, TStringList, Textdatei mit 30Mio. Zeilen 16. Sep 2015, 20:23 Hallo, die Größe ist 500 MB, könnten aber auch 5 GB werden. Das ist extrem alter Code, klar könnte ich was ändern, aber warum, es gibt genügend andere Stellen ... Heiko Heiko Geändert von hoika (16. Sep 2015 um 20:34 Uhr)
	Zitat