IdHTTP SchreibPuffer

[Van HelF]

Hallo,
Ich habe einen Downloadmanager geschrieben, der eine Datei in mehrere Chunks zerlegt und dann herunterlädt.
Da allerdings bei vielen Chunks viele festplattenzugriffe erfolgen wäre es sinnvoll die daten länger im RAM zwischenzuspeichern.
Ich verwende Indy 10 und der download läuft mit hilfe eines filestreams.
Gibt es eine möglichkeit eine art writebuffer (die bei vielen anderen downloadmanagern auch) festzulegen ?

[Van HelF]

*push*

[marabu]

Hallo,

deine Frage ist ziemlich allgemein gehalten, also gebe ich dir auch eine sehr allgemeine Antwort: Ersetze TFileStream durch TMemoryStream und setze TFileStream erst dann ein, wenn du wirklich auf das Dateisystem zugreifen möchtest.

Grüße vom marabu

[Van HelF]

Delphi-Quellcode:

try
  fs:=TFilestream.create('C:\test.rar',fmcreate);
  http.Get(URL,fs);
finally
  fs.free;
end;

Ich wüsste nur leider nicht, wie ich hier irg. eine möglichkeit habe etwas zwischenzuspeichern.
Ich könnte die daten zwar komplett in einen memorysteam laden lassen, und dann erst schreiben, jedoch würde während des downloads sehr viel RAM verbrauchen.
Ich bräuchte wäre z.b. fs.SetWriteBuffer(1024) oder eine entsprechende möglichkeit bei der idHTTP komponente.

[marabu]

Hallo,

hast du nicht geschrieben, dass du die Datei bereits in mehreren chunks herunter lädst? Das kannst du doch weiterhin so machen, sogar in parallelen Threads. Mache die einzelnen Teile so groß, wie es dir gefällt und schreibe sie dann an ihre Stelle im FileStream. Das Zerlegen macht für mich übrigens auch nur dann Sinn, wenn du multi-threading für das Herunterladen einsetzt. Ansonsten hätte ich keine allzu großen Ängste um die Zugriffsmechanik der Festplatte.

Freundliche Grüße

[Van HelF]

BSP: man will eine 100 MB große datei laden und man hat 10 Chunks eingestellt, so ist jeder filestream 10 MB groß.
Es werden 10 Threads erstellt, und 10 Filestreams schreiben gleichzeitig auf die HDD.
Je mehr Chunks man einstellt umso mehr merkt man wie die festplatte arbeitet. (1 Chunk nicht hörbar, ab 5 Chunks deutlich hörbar).
Da dieses phämomen z.b. bei flashget (auch mit 5 Chunks) nicht auftitt gehe ich davon aus dass die schreib operationen auf den datenträger gepuffert werden.

[marabu]

Deshalb hatte ich dir in Beitrag #3 geraten die FileStreams durch MemoryStreams zu ersetzen. Du öffnest nur noch einen FileStream und schreibst jeden MemoryStream an seine spezielle Position (entsprechend ContentRange) im FileStream, sobald der Chunk fertig geladen wurde. Habe ich mich jetzt klar genug ausgedrückt?

[Van HelF]

wie allerdings schon in post 4 erwähnt würde dies zuviel RAM verbrauchen, die daten sollen nur kurz (~200KB) gepuffert werden.