AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Programmieren allgemein BlockRead, BlockWrite und die richtige Buffer-Größe

BlockRead, BlockWrite und die richtige Buffer-Größe

Ein Thema von dGeek · begonnen am 23. Aug 2016 · letzter Beitrag vom 23. Aug 2016
Antwort Antwort
Seite 1 von 2  1 2   
dGeek
(Gast)

n/a Beiträge
 
#1

BlockRead, BlockWrite und die richtige Buffer-Größe

  Alt 23. Aug 2016, 20:07
Ich habe eben mal ein bisschen mit der Buffer-Größe rumgespielt, die ich bei BlockRead und BlockWrite verwende.
Angefangen bei 7*4069 (A) bis jetzt zu 50*4096 (B).

Ich schreibe eine einzige Datei, welche 7GB groß ist, auf einen im Netzwerk hängenden Datenträger.
Bei der Buffer-Größe A wird die Datei mit etwa 5MB die Sekunde geschrieben. Mit der Buffer-Größe B mit 10 10MB bis 11MB die Sekunde. Also volle Geschwindigkeit (100 MBit).

Ich stelle mir jetzt eine Frage..
sollte man den buffer fix auf, sagen wir mal wie oben, 50*4096 stehen lassen oder je nach Datei entscheiden?

Geändert von dGeek (23. Aug 2016 um 20:10 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von Zacherl
Zacherl

Registriert seit: 3. Sep 2004
4.629 Beiträge
 
Delphi 10.2 Tokyo Starter
 
#2

AW: BlockRead, BlockWrite und die richtige Buffer-Größe

  Alt 23. Aug 2016, 20:15
Die Datei ist nicht das Kriterium, sondern eher wie viele Daten dein physikalisches Medium am Stück schreiben kann. Bei HDDs hat man mal gesagt, dass ein Vielfaches der Sektorgröße gut sei.
Projekte:
- GitHub (Profil, zyantific)
- zYan Disassembler Engine ( Zydis Online, Zydis GitHub)
  Mit Zitat antworten Zitat
Der schöne Günther

Registriert seit: 6. Mär 2013
6.093 Beiträge
 
Delphi 10 Seattle Enterprise
 
#3

AW: BlockRead, BlockWrite und die richtige Buffer-Größe

  Alt 23. Aug 2016, 20:17
Das ist jetzt vielleicht eine ganz dumme Frage, aber: Wozu nimmt man diese alten Pascal-Routinen und nicht einfach einen TFileStream (oder TBufferedFileStream)?
  Mit Zitat antworten Zitat
dGeek
(Gast)

n/a Beiträge
 
#4

AW: BlockRead, BlockWrite und die richtige Buffer-Größe

  Alt 23. Aug 2016, 20:20
Wenn du mir sagst, wie ich Streams mit einem repeat-Loop benutzen kann, her damit =)
Ich benutze BlockRead und BlockWrite in einem repeat-Loop-Konstrukt. Will mir die Qual niht antun, wo man einen Callback benutzt.

Die Datei ist nicht das Kriterium, sondern eher wie viele Daten dein physikalisches Medium am Stück schreiben kann. Bei HDDs hat man mal gesagt, dass ein Vielfaches der Sektorgröße gut sei.
Schadet es denn, wenn der Buffer einfach 50*4096 groß ist?
  Mit Zitat antworten Zitat
Der schöne Günther

Registriert seit: 6. Mär 2013
6.093 Beiträge
 
Delphi 10 Seattle Enterprise
 
#5

AW: BlockRead, BlockWrite und die richtige Buffer-Größe

  Alt 23. Aug 2016, 20:37
Hier ein kleiner Test. Wenn ich hier auf ein Netzlaufwerk schreibe ist der TFileStream sogar schneller. Und mit einer anderen Blockgröße sogar noch schneller.

Zitat:
Time taken for block write: 2693 ms
Time taken for filestream, block size = 1: 8647 ms
Time taken for filestream, block size = 1024: 1341 ms
Time taken for filestream, block size = 50 * 4096: 1631 MS
Delphi-Quellcode:
program BlockWriteBenchmarkProject;

{$APPTYPE CONSOLE}
{$R *.res}

uses
  System.SysUtils,
  System.Diagnostics,
  System.IoUtils,
  System.Classes
;

const
   filePath      = 'T:\benchmark';
   bytesToWrite   = 100 * 1024 * 1024; // 100 MB
var
   fileStreamBlockSize: Integer;

procedure measureTime(const proc: TProcedure; const title: String);
var
   stopWatch: TStopwatch;
begin
   stopWatch := TStopwatch.StartNew();
   proc();
   stopWatch.Stop();
   WriteLn('Time taken for ', title, ': ', stopWatch.ElapsedMilliseconds, ' ms');
end;

procedure blockWriteThings();
const
   blockSize = 50 * 4096;
var
   legacyFile:      file;
   buffer:         TBytes;
   bytesWritten:   Int64;
begin
   SetLength(buffer, blockSize);
   bytesWritten := 0;

   AssignFile(legacyFile, filePath+'\blockwrite.abc');
   Rewrite(legacyFile, 1);
   try
      repeat
         BlockWrite(legacyFile, buffer[0], blockSize);
         Inc(bytesWritten, blockSize);
      until (bytesWritten = bytesToWrite);
   finally
      CloseFile(legacyFile)
   end;
end;

procedure fileStreamThings();
var
   fileStream:      TStream;
   bytesWritten:   Int64;
   buffer:         TBytes;
begin
   SetLength(buffer, fileStreamBlockSize);
   bytesWritten := 0;

   fileStream := TFile.Open(filePath + '\fileStream.abc', TFileMode.fmOpenOrCreate);
   try
      repeat
         fileStream.WriteData(buffer, fileStreamBlockSize);
         Inc(bytesWritten, fileStreamBlockSize)
      until (bytesWritten = bytesToWrite);
   finally
      fileStream.Destroy();
   end;
end;

begin
   measureTime(blockWriteThings, 'block write');

   fileStreamBlockSize := 1024;
   measureTime(fileStreamThings, 'filestream, block size = 1');

   fileStreamBlockSize := 1024 * 100;
   measureTime(fileStreamThings, 'filestream, block size = 1024');

   fileStreamBlockSize := 50 * 4096;
   measureTime(fileStreamThings, 'filestream, block size = 50 * 4096');


   readln;
end.

Jetzt bleibt nur noch die Frage, wie man die Blockgröße wählen sollte wenn man z.B. weiß dass man 100 MB schreiben möchte. Ich habe da nämlich auch keine Ahnung
  Mit Zitat antworten Zitat
dGeek
(Gast)

n/a Beiträge
 
#6

AW: BlockRead, BlockWrite und die richtige Buffer-Größe

  Alt 23. Aug 2016, 20:43
Ich gucke mir das gleich mal an!
Du hast das mit dem Filestream ja sogar mit einer repeat-Loop gemacht.

Ich gucke es gleich an und baue es bei mir mal ein. Mal gucken. Vielleicht kann man vorher ja gucken, wie groß die Durchschnittsgröße aller Dateien ist die man kopieren möchte ... oder so ähnlich

Wie gesagt, gleich erst. Hund muss raus
  Mit Zitat antworten Zitat
Benutzerbild von Zacherl
Zacherl

Registriert seit: 3. Sep 2004
4.629 Beiträge
 
Delphi 10.2 Tokyo Starter
 
#7

AW: BlockRead, BlockWrite und die richtige Buffer-Größe

  Alt 23. Aug 2016, 20:48
Schadet es denn, wenn der Buffer einfach 50*4096 groß ist?
Meiner Erfahrung nach sind zu große Buffer zumindest weniger schlimm für die Performance, als ganz ganz Kleine. Aber nochmal: Die Buffergröße wählt man nicht anhand der Dateigröße! Es ist vollkommen egal, ob man 10MiB oder 1000MiB schreiben will.
Projekte:
- GitHub (Profil, zyantific)
- zYan Disassembler Engine ( Zydis Online, Zydis GitHub)
  Mit Zitat antworten Zitat
Benutzerbild von Luckie
Luckie

Registriert seit: 29. Mai 2002
37.621 Beiträge
 
Delphi 2006 Professional
 
#8

AW: BlockRead, BlockWrite und die richtige Buffer-Größe

  Alt 23. Aug 2016, 20:56
Du hast das mit dem Filestream ja sogar mit einer repeat-Loop gemacht.
Warum auch nicht? Ich bin etwas verwirrt, ob deiner Verwunderung.
Michael
Ein Teil meines Codes würde euch verunsichern.
  Mit Zitat antworten Zitat
dGeek
(Gast)

n/a Beiträge
 
#9

AW: BlockRead, BlockWrite und die richtige Buffer-Größe

  Alt 23. Aug 2016, 21:46
Du hast das mit dem Filestream ja sogar mit einer repeat-Loop gemacht.
Warum auch nicht? Ich bin etwas verwirrt, ob deiner Verwunderung.
Musst du nicht. Ich dachte immer nur, dass so ein Stream direkt die ganze Datei in einem Rutsch kopiert.
  Mit Zitat antworten Zitat
t.roller
(Gast)

n/a Beiträge
 
#10

AW: BlockRead, BlockWrite und die richtige Buffer-Größe

  Alt 23. Aug 2016, 22:35
Theoretisches:
Copying large files on Windows

Slow Large File Copy Issues


Man kann auch XCOPY verwenden, z.B.
xcopy /J - Kopiert ohne E/A-Puffer. Für große Dateien empfohlen.

Geändert von t.roller (23. Aug 2016 um 23:28 Uhr)
  Mit Zitat antworten Zitat
Antwort Antwort
Seite 1 von 2  1 2   

Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 14:09 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz