Dateiinhalt teilweise löschen

[blablab]

Hallo!

Angenommen ich habe ein 4GB großes Video und möchte daraus nur das zehnte Byte löschen, dann fällt mir spontan nur ein, die komplette Datei ohne dieses Byte erneut zu schreiben. Ist das tatsächlich notwendig oder kann man das irgendwie umgehen?

Theoretisch müsste das doch möglich sein, denn die Datei ist ja in Clustern auf der Festplatte gespeichert. Es würde also ausreichen den ersten Cluster gegen einen anderen auszutauschen und die anderen beizubehalten.

Gibt es da eine Möglichkeit?

Grüße
blablab

[Bummi]

Sorry, Schmarrn, ich hatte gelesen überschreiben nicht löschen ....

[himitsu]

Im ersten Cluster löschst du das Byte, dafür wird ein Byte aus dem zweiten Cluster geholt und hinten an das Erste gehängt, damit dieser Cluster wieder komplett ist, dann wird aus dem Dritten ein Byte an den Zweiten gehängt, aus dem Vierten Eines an den Dritten, aus dem Fünften an den Vierten usw.

Die einzige Möglichkeit sind SpraseFiles, aber die werden nicht von jedem Dateisystem unterstützt.
(hatte noch keine Zeit mich damit zu beschäftigen, aber diese technik wird für die NTFS-komprimierten Dateien genutzt, damit dort Stückchenweise komprimiert und gespeichert werden kann, womit man dann bei Änderung eines Bereichs nicht gleich die ganze Datei neu schreiben muß)


Ach ja, du brauchst natürlich nur alle Bytes ab dem zu löschenden Byte um 1 Byte vorzukopieren.
Also alles oder stückchenweise in einen Puffer kopieren und etwas weiter Vorne wieder abspeichern.

[blablab]

Eine vielleicht etwas dumme Frage aber: Muss die Datei denn am Clusteranfang anfangen? Kann da nicht das erste Zeichen ungenutzt bleiben und der Dateiinhalt fängt dann erst beim 2. Zeichen an?

Edit:
War etwas verwirrt, weil beim Defragmentieren ja oft steht es befänden sich mehrerer Dateien in einem Block. Aber ein Block ist hier ja eine Menge vieler Cluster...

[Popov]

Ich kenne jetzt nicht Ntfs, aber bei dem einem System mit dem ich mich mal genauer beschäftigte war es nicht möglich. Denn, wozu der Aufwand? Bei den vollen Blöcken gab es eine Adresse auf den nächsten Block, bei dem letzten Block die Länge der genutzten Bytes. Mag sein, dass es aber Ntfs anders ist.

//Edit:
Unter Block verstehe ich wiederum die kleinste Einheit.

[blablab]

Um mein Problem etwas genauer zu beschreiben:

Ich möchte eine Art Archiv machen, also eine Datei in der mehrere Dateiinhalte hintereinander stehen. Ich weiß jetzt aber nicht, was ich machen soll, wenn ich eine Datei aus dem Archiv löschen will. Denn ich möchte die Größe des Archivs nicht einschränken, das soll ruhig mehrere Gigabyte groß werden können und das wird es in der Praxis auch. Aber wenn ich dann nur eine einzige Datei lösche die eher am Anfang des Archivs steht, kann ich doch nicht den ganzen Dateiinhalt kopieren. Ich kann den Benutzer doch nicht nach jedem Löschvorgang 2 Minuten warten lassen...

[Luckie]

Also bei 7Zip tust du das und wartest bei großen Archiven.

[Klaus01]

Zitat:

Zitat von blablab (Beitrag 1163150)

. Aber wenn ich dann nur eine einzige Datei lösche die eher am Anfang des Archivs steht, kann ich doch nicht den ganzen Dateiinhalt kopieren. Ich kann den Benutzer doch nicht nach jedem Löschvorgang 2 Minuten warten lassen...

Du könntest auch vor jedem Datenblock ein "deleted" Flag einbauen.
Ist dieses gesezt wird der Datenblock übersprungen.

Dann kannst Du noch eine "purge"-Routine einbauen, welche die als gelöscht markierten Blöcke
aus dem Archiv entfernt - das Archiv also komprimiert.
Diese Aktion könnte im Hintergrund laufen - oder auch scheduled des Nachts.

Grüße
Klaus

[himitsu]

Du hast irgendwo eine Liste mit den enthaltenen Dateien (eventuell auch Mehrere),
dort steht drinne wo die Datei anfängt und wie lang sie ist.

- beim Löschen wird einfach der Eintrag gelöscht
- beim Verkleinern einer Datei werden nur die Daten dieser Datei und ihre gespeicherte Länge geändert
- beim Vergrößern schaust du, ob hinter der Datei noch genug Platz ist (eventuell auch vor der Datei)
- - wenn ja, dann wird die Datei dort reingeschrieben und die Positions- und Größeninfo angepaßt
- - wenn nein, dann wird eine neue Stelle gesucht, also ein ausreichend großer freier Plattz irgendwo mittendrin oder die Datei wird hinten angehängt

Dadurch bleiben zwar Leerräume, welche man aber über eine Optimierungsfunktion/Defragmentierung bezeitigen kann.
Enteder manuell aufgerufen oder direkt beim Schließen des Archivs.

PS: So in etwa arbeiten auch Datenbanken und Dateisystemtreiber.
Du könntest natürlich auch eine Datenbank verwenden, so ala Firebird Embedded.

[x000x]

Moin moin,

menno - himitsu hat irgendwie meinen Beitrag kopiert und unter seinem Namen gepostet :-)

Nee... ich bin einfach zu langsam beim tippen gewesen

[Medium]

Du könntest eine kleine FAT in dein Format einbauen, und zu löschenden Speicher einfach als "nicht belegt" markieren. Sobald dann wieder was geschrieben wird, kommt das in die "freien Bereiche", ggf. auch fragmentiert. Dabei wird nach Löschen das Archiv allerdings nicht kleiner, dafür ließe sich dann aber eine Service-Option machen, die auf Wunsch defragmentiert und zusammenschiebt wenn Zeit dafür ist.

Edit: Holy Bananasplit! Ich war ja NOCH lahmer. Verfluchtes Telefon =)

[Aphton]

Genau jenes haben wir (ich und Björn (olee?)) realisiert. Such mal nach VPHD

Edit: Ich hab dann meine Variante nicht veröffentlicht, da es ja im Kern dasselbe ist...

[Assarbad]

Zitat:

Zitat von blablab (Beitrag 1163148)

Eine vielleicht etwas dumme Frage aber: Muss die Datei denn am Clusteranfang anfangen? Kann da nicht das erste Zeichen ungenutzt bleiben und der Dateiinhalt fängt dann erst beim 2. Zeichen an?

Nein.

Zitat:

Zitat von blablab (Beitrag 1163150)

Um mein Problem etwas genauer zu beschreiben:

Ich möchte eine Art Archiv machen, also eine Datei in der mehrere Dateiinhalte hintereinander stehen. Ich weiß jetzt aber nicht, was ich machen soll, wenn ich eine Datei aus dem Archiv löschen will. Denn ich möchte die Größe des Archivs nicht einschränken, das soll ruhig mehrere Gigabyte groß werden können und das wird es in der Praxis auch. Aber wenn ich dann nur eine einzige Datei lösche die eher am Anfang des Archivs steht, kann ich doch nicht den ganzen Dateiinhalt kopieren. Ich kann den Benutzer doch nicht nach jedem Löschvorgang 2 Minuten warten lassen...

Sekunde, du hast ein Archivformat in dem die Dateien wie genau angeordnet sind?

Normalerweise wäre der erste Schritt die "Verzeichniseinträge" zu löschen, also die Verweise auf Daten im Archiv. Danach könntest du verwaiste Daten in einem Rutsch löschen und das Archiv neu aufbauen.

Sprich: unter normalen Umständen entfernst du nur den Verweis.

Alle paar x-Male oder wenn eine bestimmte Kenngröße erreicht ist, rekonstruierst du das Archiv ohne die verwaisten Daten und hast so ein konsolidiertes Archiv.

Beispiele für Programme die das so machen sind Mailprogramme ala Thunderbird ("Verzeichnis komprimieren") und TrueImage ("Backuparchiv konsolidieren").

[himitsu]

Zur Datei wird nur der Startcluster und die Dateigröße gespeichert.
und über das VolumeBitmap (so nennt es sich in NTFS, bzw. über die FAT/FileAllocationTable beim FAT) werden dann die nachfolgenden Cluster verlinkt.
Bei jedem Clustereintrag steht dann entweder das nächste Cluster, eine virtueller Cluster (die Endemarkierung) oder eine 0 (ungenutzer Cluster) drin.

Da nirgendwo eine Byteposition gespeichert wurde, erklärt es sich von selber, daß man Cluster nur komplett nutzen kann. (bis auf das Ende des letzen Clusters)

Anders ist das eben bei den Sparse Files und den Compressed Files, wo auch noch die Größe der einzelnen Blöcke gespeichert wird.

[Assarbad]

Zitat:

Zitat von himitsu (Beitrag 1163190)

Zur Datei wird nur der Startcluster und die Dateigröße gespeichert.

[...]

Anders ist das eben bei den Sparse Files und den Compressed Files, wo auch noch die Größe der einzelnen Blöcke gespeichert wird.

Bei NTFS gibt es noch eine andere Variante für sehr kleine Dateien. Die können nämlich durchaus zusammen mit den Metadaten gespeichert sein. Aber im Großen und Ganzen stimmt deine Aussage.