pgn - Filter

[wendelin]

Hallo dGeek,

vielen Dank für Deine Antwort.

Der von Dir kritisierte 'Fehler' ist Absicht. Auch große Dateien mit weit mehr als 20.000 Partien und mehr als 300.000 Zeilen
werden innerhalb von weniger als 3 sek. geladen. Und das auf meinem alten 2-Kern Rechner.
Die Datei wird in eine StringList geladen und zum Schluß erst ins Memo kopiert.

Da ich mein kleines Programm
1.) noch erweitern will (z.B. Vergleichen zweier pgn.Dateien auf Duplikate, mehr Statistik b.z.w. Graphic, etc.),
2.) ev. als Shareware anbieten will,
habe ich mir diese Vorgehensweise ausgesucht.

wendelin

[wendelin]

nachtrag,

nochmals Danke für den Hinweis auf den "SJMmfFileReader".
Ich werde mich damit beschäftigen.

Wendelin

[himitsu]

Hab jetzt nicht nach dem SJMmfFileReader gesehen, aber MMF ala Memory Mapped File (falls es das ist, was ich denke) zeigt schon die Lösung.

TStringList, TMemoryStream, TMemo usw. laden den kompletten Inhalt auf Einmal in den Arbeitsspeicher und können demnach nicht unendlich viel Daten laden.

MMF mappt nur einen oder mehrere Teil(e) einer Datei in den RAM, also am Besten nur einen Benötigten und wenn man was Anderes braucht, dann kann/muß man diese halt austauschen.
Es gibt auch Streams und die alten Pascal-Funktionen, welche die Daten ebenfalls nacheinander laden, wie z.B. TFileStream und darauf aufbauend gibt es auch String-Streams, wo man ebenfalls nur die aktuelle nächste Zeile, bzw einen gewünschten Block laden/auslesen kann.

Genauso gibt es auch Komponenten, welche ebenfalls nicht alle Daten nthalten, sondern nur die aktuell Sichtbaren.
Bei Memos weiß ich grade keine, aber schaut z.B. in den HxD-Editor http://en.wikipedia.org/wiki/HxD http://www.delphipraxis.net/39594-hx...am-editor.html

Einfache Beispiele aus anderen Bereichen:

XML-DOM liest die komplette Datei ein und beit einen Baum auf
XML-SAX liest die speichersparend XML sequentiell ein (also Stück für Stück)

TTreeView > alles im Komponentenspeicher
TVirtualTreeView > nur der Baum im Speicher, nichtsichtbare Unterknoten können entfernt/nachgeladen werden und der Inhalt/Text kommt sowieso von Außerhalb