AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein GUI-Design mit VCL / FireMonkey / Common Controls Delphi Limitierte Dateigröße mit SingleFileDataStorage?

Limitierte Dateigröße mit SingleFileDataStorage?

Ein Thema von shadowman · begonnen am 24. Okt 2014 · letzter Beitrag vom 28. Okt 2014
Antwort Antwort
Seite 2 von 2     12
shadowman

Registriert seit: 1. Nov 2005
48 Beiträge
 
#11

AW: Limitierte Dateigröße mit SingleFileDataStorage?

  Alt 27. Okt 2014, 10:52
Danke für die Vorschläge,

das mit 7-Zip hatte ich bisher nicht auf dem Radar. Generell ist es gut Alternativen zu haben, wobei ich eine Umstellung möglichst vermeiden würde. Das Ganze wird für die Datensicherung / Datenwiederherstellung eingesetzt...

Deswegen habe ich zumindest vorerst nach der Ursache gesucht.

Das Seltsame ist, dass eine Datei mit ca. 8 GB erstellt und auch gelesen werden kann. Es wurden testweise 1GB-Dateien erstellt, die einfach mit Nullen gefüllt sind. Damit kommt der Basic SFDS File Creator klar, so wie es aussieht.

Dann habe ich weiter getestet und mir eine ca. 70 MB große Datei geschnappt, die mehrfach kopiert, bis das Ergebnis bei über 4 GB lag. Ich habe also den Fall, dass wenn ich eine Kopie lösche, die Sicherung klappt, wenn ich sie wieder hinzufüge, ist das Ergebnis fehlerhaft.

Die Dateieinträge kommen ganz am Ende der erstellten Datei. Bei der korrupten Datei sucht sie der Reader anhand der gespeicherten Position an einer Stelle, an der es sie noch nicht gibt, sprich viel zu früh, so dass der Write sich in so einem Fall verhauen und dabei eine Fehlerhafte Position für die Dateieinträge speichern müsste. Also habe ich erstmal beim Write geschaut.

Geschrieben werden die Einträge in TSFDSCustomWriter.WriteFileEx. In einer Schleife wird die jeweilige Datei in Chunks (ChunkSize in Höhe von 32KB wird dabei verwendet) geschrieben. Bei einer 70MB Datei sind es ziemlich viele Durchläufe, also habe ich mir da die einzelnen Schritte / Werte ausgeben lassen, um die Stelle zu finden, an der es einen Unterschied.

Die letzte Datei der funktionierenden Sicherung bzw. die vorletzte Datei der korrupten Sicherung sind soweit identisch von den Werten her, hier am Beispiel des Schleifendurchlaufs Nr. 146:
Code:
-------------------------------------------------------------
Durchlauf Nr. 146
-------------------------------------------------------------
BytesCopied: 32768
K: 4784128
SourceStream.Size:       4294950087
SourceStream.Position:    4294950087
Write(CopyBuffer^, BytesCopied)...
SourceStream.Size:       4295081159
SourceStream.Position:    4295081159
Nach dem Aufruf von "Write" sind die 4GB schon überschritten, aber es funktioniert noch. "SourceStream.Size" ist dabei immer gleich "SourceStream.Position" - sowohl vor "Write" als auch danach. Im Schleifendurchlauf Nr. 147 der korrupten Sicherung, also mit einer weiteren 70 MB Datei, sieht man dann eine Abweichung:
Code:
-------------------------------------------------------------
Durchlauf Nr. 147
-------------------------------------------------------------
BytesCopied: 32768
K: 4816896
SourceStream.Size:       4295081159
SourceStream.Position:    4295081159
Write(CopyBuffer^, BytesCopied)...
   -> result := Compressor.Write(Buffer, Count);
      -> SourceStream.Size:       4295081159
      -> SourceStream.Position:    113863 <-------------
      FileSize vorher:    4784128
      result:               32768
      FileSize nachher: 4816896
In "Write(CopyBuffer^, BytesCopied)" wird nach der Zeile "result := Compressor.Write(Buffer, Count);" SourceStream.Position plötzlich zurückgesetzt auf einen viel kleineren Wert, was nach dem oben beschriebenen Problem aussieht. Nur weiß ich nicht so richtig, wieso das passiert...
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
43.014 Beiträge
 
Delphi 12 Athens
 
#12

AW: Limitierte Dateigröße mit SingleFileDataStorage?

  Alt 27. Okt 2014, 11:12
Zitat:
Es wurden testweise 1GB-Dateien erstellt, die einfach mit Nullen gefüllt sind. Damit kommt der Basic SFDS File Creator klar, so wie es aussieht.
Durch die Komprimierung sind diese Dateien natürlich nur ein paar Byte groß, da sowas extrem gut komprimiert werden kann.
Garbage Collector ... Delphianer erzeugen keinen Müll, also brauchen sie auch keinen Müllsucher.
my Delphi wish list : BugReports/FeatureRequests
  Mit Zitat antworten Zitat
shadowman

Registriert seit: 1. Nov 2005
48 Beiträge
 
#13

AW: Limitierte Dateigröße mit SingleFileDataStorage?

  Alt 27. Okt 2014, 11:34
Habe mir sowas gedacht. Die Gesamtdatei war 8GB, so dass es schon half festzustellen, dass grundsätzlich größere Dateien möglich sind. Das heißt dann wahrscheinlich, dass der Platz zwar mit 8GB reserviert wurde, aber der eigentliche Inhalt, mit dem sich SFDS auseinandersetzen muss, viel kleiner ist / unter 4GB und es somit funktioniert in dem Fall...
  Mit Zitat antworten Zitat
shadowman

Registriert seit: 1. Nov 2005
48 Beiträge
 
#14

AW: Limitierte Dateigröße mit SingleFileDataStorage?

  Alt 28. Okt 2014, 17:51
Der Vollständigkeit halber:

Ich habe gestern die Ursache für mein Problem gefunden. Sowas Banales... In der Unit "sfds_zlibex.pas" wurde an einigen Stellen in Abhängigkeit von der bedingten Kompilierung "{$ifdef Version6Plus}" Longint bzw. Int64 verwendet - in meinem Fall Longint, weil die abgefragte Bedingung durch die entsprechende .inc-Datei nicht definiert wurde. Diese .inc-Datei war nicht auf dem aktuellen Stand, sprich es wurden dort nur Delphi Versionen bis 2006 abgefragt und das explizit, nicht sowas wie "{$IF CompilerVersion >= 18.5}".
  Mit Zitat antworten Zitat
hathor
(Gast)

n/a Beiträge
 
#15

AW: Limitierte Dateigröße mit SingleFileDataStorage?

  Alt 28. Okt 2014, 18:03
Ich weiss, warum ich diese $ifdef... hasse!
Die Programmierer kommen häufig damit selbst durcheinander.
  Mit Zitat antworten Zitat
Benutzerbild von Sir Rufo
Sir Rufo

Registriert seit: 5. Jan 2005
Ort: Stadthagen
9.454 Beiträge
 
Delphi 10 Seattle Enterprise
 
#16

AW: Limitierte Dateigröße mit SingleFileDataStorage?

  Alt 28. Okt 2014, 19:18
Ich weiss, warum ich diese $ifdef... hasse!
Die Programmierer kommen häufig damit selbst durcheinander.
Die kommen nicht durcheinander sondern wollen besonders schlau sein
(siehe auch https://code.google.com/p/superobjec...uperobject.pas)

Statt einer Warnung "Achtung, unter dieser Compiler-Version nicht getestet!" wird da per Hand jede einzelne Version reingeklopft. Die Zeit zum nachtippen sollte besser in Unit-Tests investiert werden.
Kaum macht man's richtig - schon funktioniert's
Zertifikat: Sir Rufo (Fingerprint: ‎ea 0a 4c 14 0d b6 3a a4 c1 c5 b9 dc 90 9d f0 e9 de 13 da 60)
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 13:14 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz