Problem beim Lesen (und schreiben?) von Stream

[e-gon]

Hallo zusammen,

im Moment schreibe ich einen Editor zum Erstellen eines Brettspiel-Spielplans. Da die Autoren den Spielplan möglicherweise nicht an einem Tag erstellen oder den Plan digital weitergeben wollen, erstelle ich gerade eine Speicher- und Ladefunktion.

Während der Erstellung erlaube ich dem Autor eigene Bilder (z.B. ein eigenes Logo) einzufügen, für einzelne Elemente die Schriftart einzustellen und auch andere Einstellungen anzupassen. Das alles muss dann natürlich mit abgespeichert werden. Und da diese eigenen Bilder intern als Bitmaps vorliegen, wäre eine Komprimierung beim Speichern sehr sinnvoll.

Zur Verwirklichung stopfe ich zunächst alles in ein TMemoryStream und Komprimiere das ganze mit Hilfe von ZLib.

Das Packen und Entpacken sieht dann so aus:

Delphi-Quellcode:

procedure CompressStream(inpStream: TMemoryStream; outStream: TFileStream);
var  InpBuf,OutBuf: Pointer;
     InpBytes, OutBytes: Integer;
begin
  InpBuf:= nil;
  OutBuf:= nil;

  try
    GetMem(InpBuf, inpStream.Size);
    inpStream.Position:= 0;
    InpBytes:= inpStream.Read(InpBuf^ inpStream.Size);
    CompressBuf(InpBuf, InpBytes, OutBuf, OutBytes);
    outStream.Write(OutBuf^, OutBytes);
  finally
    if InpBuf<>nil then  FreeMem(InpBuf);
    if OutBuf<>nil then  FreeMem(OutBuf);
  end;
end;

procedure DecompressStream(inpStream: TFileStream; outStream: TMemoryStream);
var  InpBuf,OutBuf: Pointer;
     OutBytes,sz: Integer;
begin
  InpBuf:= nil;
  OutBuf:= nil;
  sz:= inpStream.Size - inpStream.Position;
  if sz>0 then begin
    try
      GetMem(InpBuf, sz);
      inpStream.Read(InpBuf^, sz);
      DecompressBuf(InpBuf, sz, 0, OutBuf, OutBytes);
      outStream.Write(OutBuf^, OutBytes);
    finally
      if InpBuf<>nil then  FreeMem(InpBuf);
      if OutBuf<>nil then  FreeMem(OutBuf);
    end;
  end;

  outStream.Position:= 0;
end;

Das Öffnen und Speichern ist darüber verwirklicht:

Delphi-Quellcode:

var
  Projektname: string;
  BMPLogo: TBitmap; // wird bei FormCreate natürlich auch erstellt!
  Text1: string;
  Text2: string;
  Len: Integer;

procedure TForm1.ProjektSave(Filename: string);

  procedure SaveToStream(const s: AnsiString; var st: TMemoryStream); Overload;
  var  l: LongInt;
  begin
    l:= Length(s);
    st.Write(l, SizeOf(l));
    if l>0 then st.Write(s[1], l);
  end;

  procedure SaveToStream(const i: LongInt; var st: TMemoryStream); Overload;
  begin
    st.Write(i, SizeOf(LongInt));
  end;

var  st: TMemoryStream;
     fs: TFileStream;
begin
  fs:= TFileStream.Create(FileName, fmCreate);
  st:= TMemoryStream.Create;
  try
    SaveToStream(Projektname, st);
    BMPLogo.SaveToStream(st);
    SaveToStream(Text1, st);
    SaveToStream(Text2 ,st);
    SaveToStream(Len, st);

    CompressStream(st, fs);
  finally
    st.Free;
    fs.Free;
  end;
end;

procedure TForm1.ProjektOpen(Filename: string);

  function LoadStrFromStream(const st: TMemoryStream): AnsiString;
  var  l: LongInt;
  begin
    st.ReadBuffer(l, SizeOf(l));  // -> beim ersten Durchlauf knallt es hier dann
    SetLength(Result, l);
    if l>0 then st.ReadBuffer(Result ,l);
  end;

  function LoadIntFromStream(const st: TMemoryStream): LongInt;
  begin
    st.ReadBuffer(Result, SizeOf(Result));
  end;

var  st: TMemoryStream;
     fs: TFileStream;
begin
  fs:= TFileStream.Create(FileName, fmCreate);
  st:= TMemoryStream.Create;
  try
    DecompressStream(fs, st);

    Projektname:= LoadStrFromStream(st);
    BMPLogo.LoadFromStream(st);
    Text1:= LoadStrFromStream(st);
    Text2:= LoadStrFromStream(st);
    Len:= LoadIntFromStream(st);
  finally
    st.Free;
    fs.Free;
  end;
end;

Theoretisch funktioniert das Speichern (es kommt eine von der Größe her plausieble Datei heraus), aber beim Auslesen des ersten Strings bekomme ich bei st.ReadBuffer(l,SizeOf(l)) den Fehler 'Stream-Lesefehler'.

Was mache ich falsch?

Gruß
e-gon

[Andreas13]

Du mußt auch beim Lesen

Delphi-Quellcode:

inpStream.Position:= 0;

setzen.
Gruß, Andreas

[e-gon]

Hallo Andreas,

vielen Dank für die schnelle Antwort. Ich habe nun auch in DecompressStream

Delphi-Quellcode:

inpStream.Position:= 0;

gesetzt. Leider hat sich an dem Problem nichts geändert.

Gruß
e-gon

[TiGü]

Delphi-Quellcode:

fs:= TFileStream.Create(FileName, fmCreate); // in procedure TForm1.ProjektOpen

Zitat:

fmCreate - Create a file with the given name. If a file with the given name exists, override the existing file and open it in write mode.

Du überschreibst beim Öffnen die Datei. Die ist leer. Prüfe mal fs.Size.
Die sollte ja größer null sein, wenn richtig eingelesen.

Probiere es doch mal mit fmOpenRead.

[e-gon]

Hallo TiGü,

Du hast natürlich recht! Ich habe mir die Datei damit überschrieben. :lol: Da sucht man stundenlang nach einem Fehler und findet derartige Schnitzer dennoch nicht...

Leider besteht das Problem immer noch. Könnte das auch mit

Delphi-Quellcode:

BMPLogo.SaveToStream(st);

zusammenhängen? Überschreibt das evtl. den zuvor eingefügten String wieder?

Gruß
e-gon

[e-gon]

stahli hatte mal ein ähnliches Problem (siehe https://www.delphipraxis.net/107713-...nd-stream.html)

Ich werde es mal auf diese Art versuchen...

[KodeZwerg]

Binde doch der einfachkeit halber .zip support ein.
Also externe Daten zippen & dann im temp entzippen/verwenden.

[e-gon]

Hallo KodeZwerg,

Du meinst einen temporären Ordner erstellen, dort alles getrennt speichern, den kompletten Ordner zippen und diesen dann wieder löschen?

Das hätte natürlich den Vorteil, dass man zur Not auch ohne den Editor an die Daten herankäme.

Andererseits stehe ich nicht so auf Temporäre Dateien und außerdem ist die Festplatte doch langsamer als der Arbeitsspeicher.

Muss mal in mich gehen...

[Delphi.Narium]

Für die Arbeit mit ZIP-Archiven braucht man keinen temporären Ordner oder temporäre Dateien. Man kann auch einen Stream direkt ins ZIP packen.

Auf der Festplatte entsteht nur die ZIP-Datei.

[BerndS]

Beim Einlesen der Strings sollte nicht Result, sondern Result[1] verwendet werden, da hier der Zeichenpuffer des Ansistrings beginnt.

Delphi-Quellcode:

 function LoadStrFromStream(const st: TMemoryStream): AnsiString;
  var l: LongInt;
  begin
    st.ReadBuffer(l, SizeOf(l)); // -> beim ersten Durchlauf knallt es hier dann
    SetLength(Result, l);
    if l>0 then st.ReadBuffer(Result[1] ,l); 
  end;

[Andreas13]

Das erste Zeichen des Puffers ist 0 mund nicht 1. Der Positionszeiger muss auf 0 gesetzt werden:

Delphi-Quellcode:

 function LoadStrFromStream(Const St: TMemoryStream): AnsiString;
  var Len: LongInt;
  begin
    St.Position:= 0;
    St.ReadBuffer(Len, SizeOf(Len));
    SetLength(Result, Len);

    If Len > 0 Then 
      St.ReadBuffer(Result[0] , Len*SizeOf(Result[0]));
  end;

Gruß, Andreas

[BerndS]

Bei einem Shortstring ist Index 0 das Längenbyte und danach kommen die Zeichen. Bei Strings und Ansistrings beginnt der Puffer ebenfalls bei 1.
Teste es mal im Debugger. Ich habe es natürlich zuvor getestet.

[Andreas13]

Du hast recht, BerndS: Ich habe den AnsiString nicht beachtet...:oops:
Andreas

[Andreas13]

Ganz allgemein könnte man es evtl. so schreiben:

Delphi-Quellcode:

...
If Len > 0 Then
      St.ReadBuffer(Result[Low(Result)] , Len*SizeOf(Result[Low(Result)]));

damit das Lesen für jedwenden BufferType funktioniert.
Andreas

[e-gon]

Hallo,

vielen Dank für Eure ganzen Antworten!

Ein kleines Problem habe ich da allerdings noch:
Weiß jemand wie ich die Einstellungen eines Font abspeichere? Font.SaveToStream gibt es leider nicht. Und auch Stream.WriteComponent will nicht funktionieren...

Gruß
e-gon

[himitsu]

Schau dir mal TReader und TWriter an ... das nimmt auch Delphi, um die DFM zu speichern (wobei hier das Binär raus kommt, aber in Text konvertriert werden kann)
Und es gibt auch Mapper für XML oder JSON, um Objekte zu (de)serialisieren.

Delphi-Quellcode:

ReadOrWrite(Pointer(S), Length(S)*StringElementSize(S));

funktioniert mit allen Delphi-Strings (außer ShortString)

aber generell ist es besser statt Pointer das passende PChar/PAnsiChar/PWideChar zu verwenden.

Delphi-Quellcode:

ReadOrWrite(PChar(S), Length(S)*SizeOf(Char));  // String
ReadOrWrite(PAnsiChar(A), Length(A){*SizeOf(AnsiChar)});  // AnsiString
ReadOrWrite(PWideChar(U), Length(U)*SizeOf(WideChar));  // UnicodeString und WideString

und z.B. bei typlosen VAR-Parametern noch ein ^ hinten dran, an den Cast.

[KodeZwerg]

Zitat:

Zitat von e-gon (Beitrag 1487060)

Hallo KodeZwerg,

Du meinst einen temporären Ordner erstellen, dort alles getrennt speichern, den kompletten Ordner zippen und diesen dann wieder löschen?

Das hätte natürlich den Vorteil, dass man zur Not auch ohne den Editor an die Daten herankäme.

Andererseits stehe ich nicht so auf Temporäre Dateien und außerdem ist die Festplatte doch langsamer als der Arbeitsspeicher.

Muss mal in mich gehen...

Zitat:

Zitat von Delphi.Narium (Beitrag 1487061)

Für die Arbeit mit ZIP-Archiven braucht man keinen temporären Ordner oder temporäre Dateien. Man kann auch einen Stream direkt ins ZIP packen.

Auf der Festplatte entsteht nur die ZIP-Datei.

da ich nicht genau weiß wie er das meint, schrieb ich's halt mit temp ordner.
.zip kann vollkommen per TStream abgewickelt werden, laden speichern löschen whatever.
ob nun text bilder oder whatever.
ich finde es ist die einfachste möglichkeit damit umzugehen, da die eigentliche datei (das archiv) eh mitgegeben werden muss. (ob nun zip zlib whatever)
eine font ist meist eine ttf datei, die einfach mit ins archiv, fertig.

[e-gon]

Hallo zusammen,

vielen lieben Dank für die ganzen Antworten!

Ich muss das jetzt erstmal alles ausprobieren und verstehen. Bis evtl. noch Fragen aufkommen lösche ich die Markierung zur offenen Frage.

Danke nochmals an alle! :thumb:

Gruß
e-gon

[Frickler]

Vielleicht anstelle einer Menge von Dateien eine einzelne Datei schreiben/lesen: eine SQLite Datenbank.