Dateien auf Memorystick schreiben extrem langsam

[iphi]

Hallo,

mein Programm produziert fortlaufend Daten in Form von Textdateien, die fortlaufend auf die Festplatte geschrieben werden, und zwar im Prinzip so:

Delphi-Quellcode:

var F: TextFile;
...
AssignFile(F,NextName);
Rewrite(F);
For i:=1 to n do 
  begin
    datenzeile:=...
    writeln(F, datenzeile);
    ...
  end;
CloseFile(F);
...

Das funktioniert auch. Auf Festplatte benötigt das Schreiben eines Datenfiles akzeptable 20ms.
Dassselbe auf USB-Stick benötigt ca. 2 Sekunden, also einen Faktor von 100 länger!

Wenn ich Dateien auf Festplatte bzw. den USB Stick kopiere, dann ist der Geschwindigkeitsunterschied deutlich geringer (Übertragungsrate auf Festplatte nur um Faktor 10 schneller als auf USB-Stick).

Weiß jemand, woher die Diskrepanz Faktor 10 ggü Faktor 100 kommen kann?
Wie kann ich effizienter mit meinem Programm auf den USB-Stick schreiben?

[DeddyH]

Geht es mit einer Stringliste oder einem Stream schneller?

[himitsu]

TextFile hat eine "kranke" Einstellung der Puffergröße von (maxinmal) 128 Byte.

Wenn der der USB-Stick auf "schnelles Entfernen" eingestellt ist, dann wird alles sofort gespeichert.

Zugriffe auf Datenträger sind immer nur in ganzen Sektoren möglich, was 512 Byte entspricht.
Bei einer Sektorgröße von 512 Byte wird nun also jeder Cluster mindestens 4 Mal auf den Stick geschrieben.

Eventuell obtimiert das Windows aber aug ganze Cluster (mehrere zusammengefaßte Sektoren).
Bei einer Clustergröße von z.B. 8 KB wird nun also vermutlich jeder Cluster gleich 32 Mal auf den Stick geschrieben.
Konnte aber auch sein, daß Windows doch nicht ganze Cluster, sondern nur in ganzen Sektoren schreibt, aber vermutlich nicht, da die Cacheverwaltung bestimmt mit ganzen Clustern arbeitet.

Bei einer vollen Cache, bzw. bei zuwenig RAM muß auch noch oftmals der aktuelle Cluster/Sektor ausgelesen werden, bevor er gespeichert wird, da er ja nur Teilweise beschrieben wird.

Bei einem stückchenweisen befüllen der Datei wird, ebenfalls beim "schnellen Entfernen", wird zusätzlich auch für jedes geschriebenes Stückchen die Dateiinfo (Dateigröße) und oftmals auch noch die MemoryMap (Belegungsliste aller Cluster) erneut geschrieben, was dann für eine Änderung von jedem Cluster Zugriffe auf mindestens 3 Cluster bedeutet.

Ein großer/gemeinsamer Schreibzugriff kann also nur verbessern.

Lösungen:
- einen größeren Buffer einstellen
- eine StringList/Stream verwenden, welche nur einmal am Ende alles zusammen rüberschicken

[gammatester]

Zitat:

Zitat von himitsu (Beitrag 1138396)

TextFile hat eine "kranke" Einstellung der Puffergröße von (maxinmal) 128 Byte.

Nicht maximal, sondern default. Für größere Puffer gibt's

Delphi-Quellcode:

procedure SetTextBuf(var F: Text; var Buf; Size: Integer);

[himitsu]

Ja, der Buffer hat 128 Byte (per Default), aber wenn ein Write-Befehl nicht mehr in diesen Buffer paßt, dann wird der Buffer vorzeitig geleert und der WriteBefehl eventuell sogar direkt geschrieben, ohne durch den Buffer zu gehn.

= also maximal, da man selten die 128 genau treffen wird (außer man schreibt byteweise)

[himitsu]

Zitat:

Zitat von gammatester (Beitrag 1138402)

Zitat:

Zitat von himitsu (Beitrag 1138396)

TextFile hat eine "kranke" Einstellung der Puffergröße von (maxinmal) 128 Byte.

Nicht maximal, sondern default. Für größere Puffer gibt's

Delphi-Quellcode:

procedure SetTextBuf(var F: Text; var Buf; Size: Integer);

Dieses Verhalten tritt auch mit einem größeren Buffer ein ... es kommt also immer dazu, daß irgendwo nur Teile von Sektoren geschrieben werden.
Über die größe des Buffers kann man nur die Häufigkeit regeln.


zum Default

Zitat:

- einen größeren Buffer einstellen