AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Algorithmen, Datenstrukturen und Klassendesign Delphi Problem beim Dekomprimieren mit TZDecompressionStream

Problem beim Dekomprimieren mit TZDecompressionStream

Ein Thema von s.h.a.r.k · begonnen am 19. Jul 2011 · letzter Beitrag vom 20. Jul 2011
Antwort Antwort
Seite 1 von 2  1 2   
Benutzerbild von s.h.a.r.k
s.h.a.r.k

Registriert seit: 26. Mai 2004
3.159 Beiträge
 
#1

Problem beim Dekomprimieren mit TZDecompressionStream

  Alt 19. Jul 2011, 13:48
Ich schreibe im Moment ja an meiner Log-Komponente und habe da ein Modul, welches die Datein in ein binäres Format schreibt. Hier mal ein Auszug, was passiert, wenn eine neue Log-Meldung ansteht, die über einen Thread geschrieben wird -- wir gehen mal davon aus, dass die Log-Datei schon existiert:
Delphi-Quellcode:
try
  Stream := TFileStream.Create(Filename, fmOpenWrite, fmShareDenyWrite);
  Stream.Seek(0, soFromEnd);
  CompressorStream := TZCompressionStream.Create(Stream);
  Writer := TWriter.Create(CompressorStream, 1024);
  try
    WriteMessage(Writer, LogMsg);
  finally
    Writer.Free();
    CompressorStream.Free();
    Stream.Free();
  end;
except
  { ... }
end;

procedure {...}WriteMessage(Writer: TWriter; Msg: TApLogMessage);
begin
  Writer.WriteListBegin();
  Writer.WriteInteger(Msg.X);
  Writer.WriteString(Msg.Y);
  // etc.
  Writer.WriteListEnd();
end;
D.h. es wird jedes mal der Stream neu geöffnet und die Daten in komprimierter Form dort abgelegt. Folgenden Ansatz habe ich für das Auslesen der Daten:
Delphi-Quellcode:
Stream := TFileStream.Create(FFilename, fmOpenRead);
Stream.Seek(0, soFromBeginning);

DecompressorStream := TZDecompressionStream.Create(Stream);
DecompressorStream.Seek(0, soFromBeginning);

MemoryStream := TMemoryStream.Create();
BufferBytes := DecompressorStream.Read(Buffer, 1024);
while (BufferBytes > 0) do
begin
  MemoryStream.SetSize(MemoryStream.Size + BufferBytes);
  MemoryStream.Write(Buffer, BufferBytes);
  BufferBytes := DecompressorStream.Read(Buffer, 1024);
end;
MemoryStream.Position := 0;

// SetLength(S, MemoryStream.Size);
// MemoryStream.Read(PChar(@S[1])^, MemoryStream.Size);

Reader := TReader.Create(MemoryStream, 1024);
Reader.ReadSignature();
i := Reader.ReadInteger();
s := Reader.ReadString();
Das Problem beim Auslesen ist, dass nur Datenmüll raus kommt und somit nichts sinnvolles im MemoryStream landet. Dies schlägt allerdings erst beim Reader durch, wenn dieser versucht etwas zu lesen. Die beiden kommentieren Zeilen habe ich eingefügt um mal zu schauen, was denn im MemoryStream steht -> Hieroglyphen.

Kann es daran liegen, dass ich beim Auslesen alles auf einmal lesen will und beim Schreiben das immer nur Etappenweise mache? Eine andere Erklärung habe ich eigentlich nicht dafür.
»Remember, the future maintainer is the person you should be writing code for, not the compiler.« (Nick Hodges)
  Mit Zitat antworten Zitat
Benutzerbild von stahli
stahli

Registriert seit: 26. Nov 2003
Ort: Halle/Saale
4.343 Beiträge
 
Delphi 11 Alexandria
 
#2

AW: Problem beim Dekomprimieren mit TZDecompressionStream

  Alt 19. Jul 2011, 17:52
Ich weiß nicht, ob Dein SetSize so passt.
Ich de(komprimiere) komplette Files, das ist wohl etwas einfacher.
Vielleicht findest Du hier irgend etwas hilfreiches...
Stahli
http://www.StahliSoft.de
---
"Jetzt muss ich seh´n, dass ich kein Denkfehler mach...!?" Dittsche (2004)
  Mit Zitat antworten Zitat
Benutzerbild von s.h.a.r.k
s.h.a.r.k

Registriert seit: 26. Mai 2004
3.159 Beiträge
 
#3

AW: Problem beim Dekomprimieren mit TZDecompressionStream

  Alt 19. Jul 2011, 20:43
Irgendwie hatte ich schon geahnt, dass sowas kommt Das Problem ist, dass ich die Log-Meldungen aber instant wegschreiben will bzw. muss, da das Programm ja abschmieren kann und meine Log-Komponenten nicht dann ja nicht mehr unbedingt schreiben kann. Muss mir mal eine Test-App basteln...
»Remember, the future maintainer is the person you should be writing code for, not the compiler.« (Nick Hodges)
  Mit Zitat antworten Zitat
Benutzerbild von Luckie
Luckie

Registriert seit: 29. Mai 2002
37.621 Beiträge
 
Delphi 2006 Professional
 
#4

AW: Problem beim Dekomprimieren mit TZDecompressionStream

  Alt 19. Jul 2011, 20:50
Also ich würde die Datei nur bei Programm Beendigung komprimieren. Ich weiß nicht wie viele Logmeldungen du da reinschreibst, aber für mich wären das ziemlich viele Schreib- und Lesezugriffe.
Michael
Ein Teil meines Codes würde euch verunsichern.
  Mit Zitat antworten Zitat
Benutzerbild von s.h.a.r.k
s.h.a.r.k

Registriert seit: 26. Mai 2004
3.159 Beiträge
 
#5

AW: Problem beim Dekomprimieren mit TZDecompressionStream

  Alt 19. Jul 2011, 21:00
Das hatte ich mir auch schon überlegt, aber was passiert, wenn die Anwendung zwischendrin komplette krepiert? Habe ich dann nicht eine korrupte Datei, wenn der Stream nicht sauber geschlossen wird? Sind dann auch wirklich alle Daten geschrieben?

Das gleiche Problem habe ich dann aber auch, wenn die Datei weiter beschrieben werden soll.
»Remember, the future maintainer is the person you should be writing code for, not the compiler.« (Nick Hodges)
  Mit Zitat antworten Zitat
blackfin
(Gast)

n/a Beiträge
 
#6

AW: Problem beim Dekomprimieren mit TZDecompressionStream

  Alt 19. Jul 2011, 21:24
Mit nem Puffer aus nem Decompression-Stream zu lesen halte ich für gefährlich...was, wenn du einen nicht-dekomprimierbaren Block erwischst?
Warum nutzt du nicht einfach "CopyFrom" ?

Delphi-Quellcode:
CompressorStream := TZCompressionStream.Create(Stream);
MemoryStream := TMemoryStream.Create();
MemoryStream.CopyFrom(CompressorStream,0);
FreeAndNil(CompressorStream) ;
MemoryStream.Seek(0,soFromBeginning) ;

Geändert von blackfin (19. Jul 2011 um 22:01 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von Luckie
Luckie

Registriert seit: 29. Mai 2002
37.621 Beiträge
 
Delphi 2006 Professional
 
#7

AW: Problem beim Dekomprimieren mit TZDecompressionStream

  Alt 19. Jul 2011, 21:25
Hm, ja. Also öffnen, schreiben, schließen. Und nicht öffnen, dekomprimieren, schreiben, komprimieren, schließen. Und beim Log schreiben, sollte es nicht abstürzen. Aber wenn du nicht beim Log schreiben komprimierst, hast du weniger Lese- und Schreibzugriffe während des Log schreibens. Weil ich habe immer ein ungutes Gefühl, wenn man so übermäßig viel Lese- und Schreibzugriffe hat. stell dir vor, du hast ein Programm und die Festplatte ist nur am Rattern.
Michael
Ein Teil meines Codes würde euch verunsichern.
  Mit Zitat antworten Zitat
Benutzerbild von s.h.a.r.k
s.h.a.r.k

Registriert seit: 26. Mai 2004
3.159 Beiträge
 
#8

AW: Problem beim Dekomprimieren mit TZDecompressionStream

  Alt 19. Jul 2011, 22:00
Ich hab noch nie mit Streams gearbeitet Vielleicht ist meine Frage bzw. der Code daher auch eher dumm. Das kann ich leider schlecht beurteilen. Daher kann ich das CopyFrom(..., 0) auch nicht.

Weil ich habe immer ein ungutes Gefühl, wenn man so übermäßig viel Lese- und Schreibzugriffe hat. stell dir vor, du hast ein Programm und die Festplatte ist nur am Rattern.
Kann ich voll und ganz nachvollziehen und gebe dir da auch recht. Ich will halt keine korrupte Datei. Daher das ständige öffnen und schließen.

Muss mich dies bzgl einfach mal einlesen bzw. ein paar Tests machen. Ich weiß nicht warum, aber ich bin immer davon ausgegangen, dass es Probleme mit der Datei gibt, wenn man in den Stream schreibt, der aber nicht korrekt geschlossen wird -- Beispiel hierfür wäre, dass das Programm sich abschießt oder auch vom User abgeschossen wird. Will halt keine korrupte Datei haben.

Hm, ja. Also öffnen, schreiben, schließen. Und nicht öffnen, dekomprimieren, schreiben, komprimieren, schließen. Und beim Log schreiben, sollte es nicht abstürzen. Aber wenn du nicht beim Log schreiben komprimierst, hast du weniger Lese- und Schreibzugriffe während des Log schreibens.
Nur das verstehe ich nich so ganz. Nochmals zu meinem Code oben: der obere Code ist in meiner Log-Komponente integriert. Dieser schreibt eben die einzelnen Meldungen in einen ZCompressionStream, welcher wiederrum in eine TFileStream schreibt. Ganz unabhängig davon gibt es den Log-Reader-Code, der in einem anderen Programm werkelt und eben alles ausliest. Wird ja nur beim Schreiben komprimiert und erst beim lesen dekomprimiert. Oder wo genau liegt hier das Problem? Die Log-Datei will ich allerdings schon komprimiert ablegen, da die Datei sonst schon recht groß wird, was ich umgehen will.

-- Edit

Mit nem Puffer aus nem Decompression-Stream zu lesen halte ich für gefährlich...was, wenn du einen nicht-dekomprimierbaren Block erwischst?
Warum nutzt du nicht einfach "CopyFrom" ?

Delphi-Quellcode:
CompressorStream := TZCompressionStream.Create(Stream);
MemoryStream := TMemoryStream.Create();
MemoryStream.CopyFrom(CompressorStream,0);
FreeAndNil(CompressorStream) ;
MemoryStream.Seek(0,soFromBeginning) ;
Danke dir Ein voller Erfolg!!!
»Remember, the future maintainer is the person you should be writing code for, not the compiler.« (Nick Hodges)

Geändert von s.h.a.r.k (19. Jul 2011 um 22:03 Uhr)
  Mit Zitat antworten Zitat
blackfin
(Gast)

n/a Beiträge
 
#9

AW: Problem beim Dekomprimieren mit TZDecompressionStream

  Alt 19. Jul 2011, 22:04
kannst du mir evtl. mal eine Mini-Test-App bezüglich des Problems hochladen? Ich kann das dann mal bei Gelegenheit analysieren und evtl. den Fehler sehen....ich arbeite viel mit den TZ-Streams, teilweise laufen hier in meiner 3D-Spiele-Demo sogar bis zu 100 Compress- / Decompress-Streams in Threads über einen Firebird Read-/WriteBLOB-Algorithmus parallel...
Wenns D2006 oder D2009-kompatibler Code ist, schau ich mir das gerne mal an...
  Mit Zitat antworten Zitat
Benutzerbild von s.h.a.r.k
s.h.a.r.k

Registriert seit: 26. Mai 2004
3.159 Beiträge
 
#10

AW: Problem beim Dekomprimieren mit TZDecompressionStream

  Alt 19. Jul 2011, 22:13
kannst du mir evtl. mal eine Mini-Test-App bezüglich des Problems hochladen? Ich kann das dann mal bei Gelegenheit analysieren und evtl. den Fehler sehen....ich arbeite viel mit den TZ-Streams, teilweise laufen hier in meiner 3D-Spiele-Demo sogar bis zu 100 Compress- / Decompress-Streams in Threads über einen Firebird Read-/WriteBLOB-Algorithmus parallel...
Wenns D2006 oder D2009-kompatibler Code ist, schau ich mir das gerne mal an...
Hast mein Edit gesehen? Kann die Test-App nochmals schnell auf den fehlerhaften Code umbauen. Hatte nur die Pufferung umgstrickt, schon hats geklappt. Einen Moment...
»Remember, the future maintainer is the person you should be writing code for, not the compiler.« (Nick Hodges)
  Mit Zitat antworten Zitat
Antwort Antwort
Seite 1 von 2  1 2   

Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 19:03 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz