Binärdaten platzsparend in JSON speichern

[Shark99]

Ich habe als Datenformat UTF-8 JSON (kann nicht geändert werden), und stehe nur vor der Aufgabe RTF Texte möglichst platzsparend darin abzuspeichern.

Habe dazu einen Beispiel-RTF-Code genommen der 30 KB als Widestring hat.

Mit der ZLIB komprimiere ich den auf 7 KB runter.

Wenn ich den jedoch an den JSON Parser übergebe werden in der Datei 29 KB daraus. Ich verschwende also CPU Zeit ohne wirklich Platz zu sparen.

Hat jemand eine andere Idee wie ich hier vorgehen soll? Mit einer End-Kompression von 40% wäre ich schon sehr zufrieden. Es handelt sich um Delphi 2009 mit dem SuperObject JSON Parser.

Danke im Voraus!

[Sir Rufo]

Du musst den Stream in Base64 umwandeln, dann hast du ein 3:4 Verhältnis (3 Bytes RAW => 4 Bytes BASE64) und aus deinen 7KB sollten dann so ca. 9-10KB werden.

Ein kleiner Tip noch am Rande:
Ich erstelle mir immer Klassen, die exakt die Struktur wiederspiegelt, die ich in eine Schnittstelle hineingebe, bzw. von dort engegennehme (ein DataTrasnferObject).

Ich verbiege mir meine Business-Klassen nicht derart, dass die der Schnittstelle folgen.

Soll ein Business-Object nun durch so eine Schnittstelle laufen, gibt es dort einen Assembler, der die Konvertierung vom BO zum DTO und auch wieder zurück vornimmt.

Delphi-Quellcode:

TFooBO = class
  property RTFText: string; // RTF-Text
end;

TFooDTO = class
  property RTFData: string; // RTF komprimiert und als BASE64 kodiert
end;

TFooAssembler = class
  function Convert( AFooBO: TFooBO ): TFooSTO; override;
  function Convert( AFooDTO: TFooSTO ): TFooBO; override;
end;

[Shark99]

Funktioniert Base64 auch mit Widestrings, oder muss ich nach UTF8 wandeln? Würde auch Base85 gehen?

[Sir Rufo]

Zitat von Shark99:

Funktioniert Base64 auch mit Widestrings, oder muss ich nach UTF8 wandeln? Würde auch Base85 gehen?

BASE64 funktioniert ausschließlich mit binären Daten -> eine Folge von Bytes.
Jede Komprimierung funktioniert ausschließlich mit binären Daten -> eine Folge von Bytes.
Jede Verschlüsselung funktioniert ausschließlich mit binären Daten -> eine Folge von Bytes.

Um einen String in BASE64 zu kodieren muss man sich erst die Byte-Folge von dem String holen. Dabei ist es wichtig die Kodierung zu beachten, die zwischen den beiden Systemen vereinbart wurde.

Beachten: JSON ist hier nur das Transport-Medium!

[Shark99]

Soll ich also aus meinem binären Widestring erstmals einen UTF8 AnsiString machen und dann Base64 daraus? Oder gibt es einen besseren weg?

[Shark99]

Hab mal gemacht, also -> UTF8 -> Base64 und es steigt nur auf 14 KB (statt 29). Bleibt noch die Frage ob Base85 mit Jason möglich ist. Google ist da widersprüchlich.

[Sir Rufo]

Nein, du komprimierst deinen RTF-Text wie gewohnt und erhälst eine Byte-Folge (Stream, Array ob Byte, whatever).

Diese Daten jagst du dann durch einen BASE64 Codierer und erhälst einen string.

Dieser string geht dann durch den JSON-Parser