TFileStream.Write langsam, wenn man nur 1 Zeichen schreibt?

[Daniel]

Möglicherweise musst Du Dich noch mit dem Windows Dateicache auseinandersetzen. Ein und derselbe Code habe hier auf dem System zeigt höchst unterschiedliche Laufzeiten. Die 500 Mbytes benötigen zwischen 1.6 und 8 Sekunden, um ihren Weg auf die Platte zu finden.

Delphi-Quellcode:

program Project1;

{$APPTYPE CONSOLE}
{$R *.res}

uses
  System.SysUtils, System.Classes,
  System.Diagnostics;

const
  ZwanzichMB = 1024 * 1024 * 20;
var
  LStream : TFileStream;
  LBytes : TBytes;
  LWatch : TStopwatch;
  i : integer;
begin
  DeleteFile('C:\Temp\wuppdi.dat');

  WriteLn('bereite Daten vor ...');
  SetLength( LBytes, ZwanzichMB );
  FillChar( LBytes[Low(LBytes)], Length(LBytes), 42 );

  WriteLn('schreibe Daten ...');
  LWatch := TStopwatch.StartNew;

  LStream := TFileStream.Create( 'C:\Temp\wuppdi.dat', fmCreate OR fmOpenWrite );
  TRY
    for i := 1 to 25 do
      LStream.Write( LBytes, Length(LBytes) );
  FINALLY
    LStream.Free;
  END;

  LWatch.Stop;
  WriteLn( 'fertig nach ', LWatch.ElapsedMilliseconds, 'msecs' );
  ReadLn;
end.

[a.def]

Also dieses Beispiel muss ich erstmal verdauen. Denn es funktioniert a) einfwandfrei und b) es ist wahnsinnig schneller.

Ist meine Anpassung, um eine bestimmte Größe schreiben zu können, so in Ordnung?
Mir persönlich gefällt die Prüfung auf <= 0 nicht, weiß aber sonst nicht wie man es machen könnte.

Delphi-Quellcode:

        iFileSizeToWrite := 1024 * 1024 * 512;
        repeat
         // aBufferSize := 1024 * 1024 * 20;

         if aBufferSize > iFileSizeToWrite then
          aBufferSize := iFileSizeToWrite;

         Dec(iFileSizeToWrite, aBufferSize);

         SetLength(aBytes, aBufferSize);
         FillChar(aBytes[Low(aBytes)], Length(aBytes), Ord('A'));
         aFileStream.Write(aBytes, Length(aBytes));
        until iFileSizeToWrite <= 0;

[Der schöne Günther]

Nimmt einem TBufferedFileStream nicht gerade diese Arbeit ab?

[p80286]

Warum füllst Du bei jedem Schreibvorgang den Buffer erneut mit 'A' ?

Sag doch mal was Du erreichen willst.

Gruß
K-H

[EWeiss]

Zitat:

Zitat von p80286 (Beitrag 1358112)

Warum füllst Du bei jedem Schreibvorgang den Buffer erneut mit 'A' ?

Sag doch mal was Du erreichen willst.

Gruß
K-H

Zitat:

Ich möchte gerne X-Mal ein Zeichen in eine Datei schreiben

Ich denke er will nur eine Methode erlernen ein Zeichen (X-Mal) so schnell wie möglich in eine Datei zu schreiben.

Das scheint er ja mit Hilfe von Daniel erreicht zu haben.
Ein besonderer Grund muss dafür abweichend vom genannten nicht zwingend notwendig sein.
Es steckt manchmal einfach nur der Sinn dahinter etwas lernen zu wollen.

gruss

[a.def]

Zitat:

Zitat von EWeiss (Beitrag 1358113)

Es steckt manchmal einfach nur der Sinn dahinter etwas lernen zu wollen. gruss

:thumb:

[EWeiss]

Zitat:

Zitat von a.def (Beitrag 1358114)

Zitat:

Zitat von EWeiss (Beitrag 1358113)

Es steckt manchmal einfach nur der Sinn dahinter etwas lernen zu wollen. gruss

:thumb:

Na ja ;)

Ich finde es gut wie du es machst habe einige deiner erstellten Themen verfolgt.
Du akzeptierst nicht alles was man dir vorlegt, hinterfragst und bist erst dann glücklich wenn du eine für dich
Nachvollziehbare akzeptable Lösung gefunden hast.
Dem ist nicht entgegenzusetzen.

Von daher geht das :thumb: zurück.

gruss

[a.def]

Ich stelle mich oft aber auch extrem dumm an, das muss ich dazusagen.

[himitsu]

Such hier mal meinen FileSplitter. (große Datenmengen schnell lesen/schreiben)

Es gibt grundsätzlich erstmal mehrere Wege für Dateizugriffe, die auch kombiniert werden können.
* MemoryMappedFiles > Dateiinhalt in den Arbeitsspeicher gemappt
* buffered ReadFile/WriteFile
* nonbuffered ReadFile/WriteFile
* man kann beim Dateiöffnen angeben, ob man sequentiell oder zufällig auf die Datei zugreifen will (das soll angeblich z.B. den WindowsFileCache optiomieren)
* dann kann man das Ganze auch noch synchron oder asynchron ausführen > ReadFile/WriteFile warten bis sie fertig sind oder kehren schon vorher zurück
* wenn man will kann man auch noch 'ne Transaction dazwischenschalten
* und zusätzlichen privaten Pufferspeicher im Programm, vorallem wenn man sehr oft wenige Bytes zusammenhängend hat > also erst in einem Buffer zusammenfassen und dann zusammen in die Datei schreiben, bzw. in einen Buffer auslesen und dann den Kleinkram dort rausholen (macht z.B. das alte Read/Write/ReadLn/WriteLn)

* Windows legt standardmäßig den WindowsFileCache dazwischen, also dein WriteFile landet erstmal da und dann später erst auf der Platte
beim Lesen natürlich andersrum und ein zweiter Lesezugriff ist schneller, wenn es da schon drin ist
* aber z.B. bei Wechseldatenträgern ist der Schreibcache oft deaktiviert (bzw. wird umgehend wieder geleert)
* dann kommt noch der Cache des IO-Controllers und des Datenträgers (HDD)
* die Clustergröße des Dateisystems und die größe der Speicherblöche des Datenträges spielen eine Rolle
* und natürlich auch die Größe der verschiedenen Cache und des freien Arbeitspeichers (für WFC)
* Cache- und Blockgrößen in den Datenträgern unterscheiden sich auch zwischen USBStick/MemoryCard, SSD, HybridDisk und HDD und dann natürlich auch zwischen kleinem und großen Datenträger

So, jetzt hast du millionen Systemkonfigurationen und es ist nahezu unmöglich dass es überall gleich gut läuft, aber man kann gewisse Grundeigenschaften "optimieren".

[EWeiss]

Zitat:

Zitat von a.def (Beitrag 1358116)

Ich stelle mich oft aber auch extrem dumm an, das muss ich dazusagen.

geht mir genauso keine Sorge.
Es hat auch nichts mit schleimen zu tun auch verdient es keinen Pokal aber zumindest meine Anerkennung
das du nicht alles so hinnimmst sondern Hinterfragst und LERNEN willst.

OK wird jetzt OT:
Damit ist alles gesagt. ;)

gruss