Limitierte Dateigröße mit SingleFileDataStorage?

[shadowman]

Hallo,

hat jemand Erfahrungen mit SingleFileDataStorage?

Ich setze es ein und musste nun festellen, dass die damit erzeugten Dateien - anders als beschrieben - nicht beliebig groß sein können. Einen genaueren Wert muss noch herausfinden, aber die Dateien bei denen es aufgefallen ist (3,8 bis 4 GB) sind korrupt und können nach Erstellung von SFDS selbst nicht gelesen werden, weil MD5-Checks fehlschlagen usw.

Die Beschreibung

Zitat:

Large file support (64-bit size) lets you store all the data you need in SFDS files of virtually unlimited size.

und die verlinkte Version scheinen also nicht zusammen zu passen. War auch bzgl. Unicode so. Sollte angeblich möglich sein, war es aber nicht, wie ich hier vor einiger Zeit mal beschrieben hatte. Nun das mit der Größe...

Falls jemand Erfahrungen damit / Ideen dazu hat, sind sie willkommen

[hathor]

HTFS oder FAT32?
HTFS zwingend erforderlich, ersatzweise auch exFAT.

[himitsu]

Sind die 4 GB auf die Gesamtdatei bezogen, oder auf eine der Dateien darin?

Bei Gesamtdatei sah es so aus, als wenn es eine Exception geben müsste, wenn man an die Grenzen des Dateisystem (z.B. FAT32) stößt.
(kann aber sein, daß ich auf die Schnelle nicht alle Dateizugriffe gesehn hab.)



Und welche Delphi-Verison?
Im Code wird zwar an vielen Stellen mit AnsiString gearbeitet, aber bei 2007 kann man nicht sicher sein, ob es da nicht doch noch ein paar Bugs gibt.
Was gibt denn der Compiler für Meldungen aus?


[edit]
Vielleicht ist ja hier was Alternatives dabei.
http://17slon.com/gp/gp/gpstructuredstorage.htm
http://msdn.microsoft.com/en-us/libr...69(VS.85).aspx
http://www.delphipraxis.net/176827-v...wendungen.html

Ansonsten (falls es nicht auf Geschwindigkeit an kommt) könntest auch eine der Zip-Komponenten verwenden.

[shadowman]

Zitat von hathor:

HTFS oder FAT32?
HTFS zwingend erforderlich, ersatzweise auch exFAT.

Ist zuerst beim Kunden aufgefallen und da dachte ich als erstes auch an FAT32, war aber NTFS und bei mir (aucn NTFS) kann ich es ebenfalls reproduzieren. Also "leider" liegts nicht daran.

Zitat von himitsu:

Sind die 4 GB auf die Gesamtdatei bezogen, oder auf eine der Dateien darin?

Bei Gesamtdatei sah es so aus, als wenn es eine Exception geben müsste, wenn man an die Grenzen des Dateisystem (z.B. FAT32) stößt.
(kann aber sein, daß ich auf die Schnelle nicht alle Dateizugriffe gesehn hab.)

Ist bereits bei der Gesamtdatei so, die aus vielen kleineren Dateien entsteht. Da das Dateisystem aber NTFS ist, dürfte es keine (oder sehr hohe) Limits geben.

Zitat von himitsu:

Und welche Delphi-Verison?
Im Code wird zwar an vielen Stellen mit AnsiString gearbeitet, aber bei 2007 kann man nicht sicher sein, ob es da nicht doch noch ein paar Bugs gibt.
Was gibt denn der Compiler für Meldungen aus?

Ich setze es unter Delphi XE ein (und dort dann die Version, in der ich die Anpassungen an Unicode vorzunehmen versucht habe (schien / scheint zu funktionieren), aber wenn diese Umstellung bei der Dateigrößenproblematik auch eine Rolle spielt, dann habe ich vielleicht was übersehen... Habe nicht erwartet, dass das eine Rolle spielen könnte.

Ich habe auch eine Delphi 7 Installation da, könnte es damit mal probieren. Da ist die unveränderte Version installiert.

Bin jetzt gerade dabei, mich schrittweise an die Größe heranzutasten, ab der die Datei als ungültig erkannt wird.

Zitat von himitsu:

[edit]
Vielleicht ist ja hier was Alternatives dabei.
http://17slon.com/gp/gp/gpstructuredstorage.htm
http://msdn.microsoft.com/en-us/libr...69(VS.85).aspx
http://www.delphipraxis.net/176827-v...wendungen.html

Danke, werde ich mir anschauen. Hatte schon mal nach Alternativen geguckt, aber kaum etwas gefunden bzw. aufgrund der größeren Umstellung erstmal nicht weiter verfolgt. "gpstructuredstorage" war damals schon mal dabei, denke ich.

[hathor]

Ich habe mal eine mitgelieferte Demo Basic SFDS File Creator getestet.
Ergebnis: Eine Größe von 3,9 GB wird bei mir nicht überschritten, obwohl mehr Daten drin sein müssten. Siehe Anhang:

[shadowman]

Hm, wie viel mehr müsste drin sein? Vielleicht die Komprimierung? Sonst würde das ja bedeuten, dass das Tool ab einem bestimmten Wert einfach aufhört die Datei zu schreiben und sie dann selbst als ungültig einstuft... Ich habe hier eine Datei mit der Größe von 4,00 GB (4.298.860.637 Bytes) (erstellt mit meinem Programm, sollte aber die gleiche Funktionalität sein)

[himitsu]

Das Ding greift stückchenweise, über einen selbstgebauten Stream, auf die SFDS-Datei zu.

Vermutung: Dort wird irgendwo mit einem "Integer" gearbeitet und größere Positionen werden daher auf 32 Bit abgeschnitten.

[hathor]

Zitat von shadowman:

hm, wie viel mehr müsste drin sein? Vielleicht die komprimierung? Sonst würde das ja bedeuten, dass das tool ab einem bestimmten wert einfach aufhört die datei zu schreiben und sie dann selbst als ungültig einstuft... Ich habe hier eine datei mit der größe von 4,00 gb (4.298.860.637 bytes) (erstellt mit meinem programm, sollte aber die gleiche funktionalität sein)

4,04 GB (4.338.868.224 Bytes)