gzip-String "entpacken"???

[romber]

Hallo!

Mit Hilfe von PCap verfolge ich den Datenstrom einer AJAX-basierten Webseite. Als Ergebnisse dieser Verfolgung erhalte ich Strings, die so aussehen (nur ein Beispiel):

HTTP/1.1 200 OK
Date: Fri, 21 Nov 2008 22:24:18 GMT
Server: Apache
Vary: Accept-Encoding
Content-Encoding: gzip
Keep-Alive: timeout=5, max=68
Connection: Keep-Alive
Transfer-Encoding: chunked
Content-Type: text/javascript;charset=ISO-8859-1

a
..........
334
..moV......X.`'...;`....I...Y........srr8x;.c.y... ..K.TP....r...$cX{........].............gE%y..._.|.a>/.7.,..!y.S..
V.....i^....`%..x..0M."..s...gE..<...a..0..{=B.... ......'.^.X.z......0.......B..?
.........!....."..`).......&.9...../Kl...U[3LR...y.)..a0.F.........%.1.@.w.M..7..fu.~@.OPoP.. ..R^.Y\V.._'..........%KS..9K%..O.-.F.n..D.P.LN..w.........Rn.]^e3,..=}Y.A...5..N.Hj8D_...@]|..X%.XX..n.r.....e.e....7..F...7.....?.e.YQ.v
.....-T.O.~.. hhz....Cz.....tew..3...y.=...b= ..Y+:..6j\..9~..e.\.*-....O.c...............8.S....p.c.3x.....h.
.3..G....1~...x. 3.=....fz...g?...c.,....M....L...*...4..2..)C.}... ..I......FG@V...^NR..VW,.t..6..*Qu......f..
..
0

wobei das erste Teil Response-Header ist und das zweite Teil die eigentlichen Daten. Aus dem Header kann man sehen, dass die Daten mit gzip gepackt sind. Wie kann ich diese Daten in lesbaren Text "entpacken"?

[DGL-luke]

per gzip solltest du einige Libraries finden, die gzip unterstützen.

[romber]

Leider habe ich bis jetzt nichts gefunden, womit ich die Daten entpacken kann.
Hat jemand noch Ideen oder vielleicht fertige Funktion?

[himitsu]

es kommt drauf an wie der String gepackt wurde ... unter umständen ist da noch ein kleiner Header davor

kann nur grad nicht nachsehn wie groß der sein könnte

notfalls einfach ausprobieren ... etwa so (wenn's sich nicht entpacken läßt, dann erstes Zeichen löschen und nochmals versuchen)

Delphi-Quellcode:

S := .....; // dein string
While not GZipDeflate(S, OutS) do Delete(S, 1, 1);

[romber]

Danke für den Tipp!

Wo kommt dieses GZipDeflate her?

[himitsu]

keine Ahnung ... ist 'nur 'nen Beispiel :roll:

mußt sozusagen deine dir zur Verfügung stehenden Funktionen da einbauen.

Code:

anfang:
  versuche zu entpacken
    geht > springe raus
  1. zeichen löschen
springe zu zum anfang
raus:

was ich noch weiß, daß ich damals in PHP meine Strings per "Deflate" gepackt hatte und es so verschickte

[romber]

Zitat:

Zitat von himitsu

mußt sozusagen deine dir zur Verfügung stehenden Funktionen da einbauen.

Genau das ist das Problem! Die Routine zum Entpacken habe ich nicht! Diese brauche ich. Ich habe einige Funktionen hier gefunden, davom mehrere auf Basis von ZLib, aber irgendiwie konnte ich diese nicht zum Laufen bringen können, weil der Compiler die Funktionen "compressBuf, decompressBuf" nicht finden konnte. :(

[Assertor]

Hi romber,

leider schreibst Du nicht, welche Delphi Version Du nutzt. D2006 hat z.B. zlib 1.1.x und D2009 hat zlib 1.2.3 mit dabei. Einfach zLib in die uses Klause nehmen und nutzen.

Für die Benutzung der zlib Unit einfach mal die Unit öffnen und gucken, welche Funktionen dort in der implementation stehen. Alternative: mal im Internet nach zLibEx suchen. Dieses bietet zlib v1.2.3 auch für ältere Delphi Versionen.

Hinweis: Willst Du die Daten aus Deinem Netzwerk Sniffer (PCab) so verwerten, wie diese oben stehen? Weil dort ja der Zeichenbereich begrenzt ist somit Informationen schon flöten sind (das also mit dem Entpacken des gz nichts wird)...

Gruß Assertor

[gammatester]

Zitat:

Zitat von romber

Genau das ist das Problem! Die Routine zum Entpacken habe ich nicht! Diese brauche ich. Ich habe einige Funktionen hier gefunden, davom mehrere auf Basis von ZLib, aber irgendiwie konnte ich diese nicht zum Laufen bringen können, weil der Compiler die Funktionen "compressBuf, decompressBuf" nicht finden konnte. :(

Kannst Du das Teil mit gzip entpacken, wenn Du den Gzip-Teil als Datei speicherst mit Extension .gz?

In meinen zlib-Pascal-Port findest Du die Unit gzIO in zlibw114_2008-09-07.zip, die dann benutzt werden kann. Wenn nicht könnte eventuell ein kleiner Eingriff in den Quellcode weiterhelfen.

Gruß Gammatester

[romber]

@Assertor

Danke für die Antwort!
Ich habe Delphi 2009 und ich war mir auch sicher, dass es an der Delphi-Version liegt. Aber vielmehr beschäftigt mich jetzt das hier:

Zitat:

Zitat von Assertor

Willst Du die Daten aus Deinem Netzwerk Sniffer (PCab) so verwerten, wie diese oben stehen? Weil dort ja der Zeichenbereich begrenzt ist somit Informationen schon flöten sind (das also mit dem Entpacken des gz nichts wird)...

Genau. So wie die Daten oben stehen, so habe ich diese auch. Diese Daten lese ich aus einem Record aus, Datentyp ist AnsiString. Sind diese Daten wirklich nicht vollständig?

[romber]

Zitat:

Zitat von gammatester

Kannst Du das Teil mit gzip entpacken, wenn Du den Gzip-Teil als Datei speicherst mit Extension .gz?

Nein, kann ich nicht. Assertor hat bestimmt recht. So wie die Daten da oben stehen sind die nicht vollständig und keine Decompress-Routine wird diese Daten entpacken können.

[Assertor]

Hi,

Zitat:

Zitat von romber

@Assertor

Danke für die Antwort!
Ich habe Delphi 2009 und ich war mir auch sicher, dass es an der Delphi-Version liegt. Aber vielmehr beschäftigt mich jetzt das hier:

Zitat:

Zitat von Assertor

Willst Du die Daten aus Deinem Netzwerk Sniffer (PCab) so verwerten, wie diese oben stehen? Weil dort ja der Zeichenbereich begrenzt ist somit Informationen schon flöten sind (das also mit dem Entpacken des gz nichts wird)...

Genau. So wie die Daten oben stehen, so habe ich diese auch. Diese Daten lese ich aus einem Record aus, Datentyp ist AnsiString. Sind diese Daten wirklich nicht vollständig?

Sieht so aus, als würde PCap alles oberhalb der ASCII-Zeichen mit einem "." auffüllen, damit es anzeigbar bleibt. Was Du bräuchtest sind die Rohdaten, also in HEX bzw. als Binaryformat.

Mit ANSI/Unicode hat das hier noch nichts zu tun, sondern nur damit das PCap die Daten zur Anzeige "aufbereitet" - das kann bei Binärdaten nur in die Hose gehen...

Und für gz bzw. gzip brauchst Du afaik nur die zLib. Das sind im Prinzip immer nur gepackte Datenströme. Erweiterte Inhaltsinformationen und (Verzeichnis-)Strukturen etc. sind bei gz ja überlicherweise in den den Tar-Containern (dies ist hier völlig unnötig - geht ja um die Daten von Webservern die gz'ed sind).

Gruß Assertor

[romber]

Gibt es den eine Alternative zu WinPCap, die mir die Rohdaten liefern könnte? Aber komisch. Wireshark basiert auch auf WinPCap und zeigt die Daten an.

[Assertor]

Hi,

Zitat:

Zitat von romber

Gibt es den eine Alternative zu WinPCap, die mir die Rohdaten liefern könnte? Aber komisch. Wireshark basiert auch auf WinPCap und zeigt die Daten an.

Ich kenn mich mit WinPcap nicht aus, nutze für kleine Sachen meistens NirSoft SmartSniff - inbesondere wenn es um die Indy Geschichte geht, aber bei WinPcap gibt es eine Liste:

http://www.winpcap.org/misc/links.htm

Dort stehen einige, die die Daten auch in HEX anzeigen, z.B. EtherSnoop, ipInterceptor, YATT oder der von mir genutzte SmartSniff.

Ich nutze SmartSniff, weil dieser für Admins auch portabel einsetzbar ist ohne Installation. Bei beschränkten Accounts (Vista, UAC und normale Workstations etc) muß der halt per Rechtsklick -> Ausführen als (Administrator) gestartet werden. Klein und einfach.

Ich hab das Package Dumping jetzt aber nicht getestet - das brauch ich so selten, geht ja meist nur ums Nachschauen, was wo richtig oder falsch läuft.

Gruß Assertor

[romber]

Zitat:

Zitat von Assertor

Ich kenn mich mit WinPcap nicht aus, nutze für kleine Sachen meistens NirSoft SmartSniff - inbesondere wenn es um die Indy Geschichte geht, aber bei WinPcap gibt es eine Liste:

http://www.winpcap.org/misc/links.htm

Dort stehen einige, die die Daten auch in HEX anzeigen, z.B. EtherSnoop, ipInterceptor, YATT oder der von mir genutzte SmartSniff.

Fast alle Tools habe ich ausprobiert. Es geht mir aber darum, die Daten mit Delphi abfangen zu können. Ich benutze dafür eine auf WinPCap basierte Delphi-Bibliothek, deren Möglichkeiten auch begrenzt sind. Ich habe gestern Abend ein bisschen rumexperementiert und nun sehen die empfangenen Daten anders aus, als oben dargestellt. Die komishen Punkte sind weg. Meiner Meinung nach sieht es jetzt mehr nach komprimierten Daten aus.
Diese gezippte strings sind auch "chunked". Liegt mein Problem vielleicht daran, dass ich die Daten zuerst trennen und erst dann entpacken soll?

[Assertor]

Hi,

Zitat:

Zitat von romber

Es geht mir aber darum, die Daten mit Delphi abfangen zu können.
...
Diese gezippte strings sind auch "chunked". Liegt mein Problem vielleicht daran, dass ich die Daten zuerst trennen und erst dann entpacken soll?

Nicht trennen, sondern zusammenfügen. Was der Webserver als chunked gzip senden, fügst Du entsprechend zusammen und entpackst dann alles als Ganzes. Anders geht das nicht.

Sieh Dir mal die Beschreibung des Chunked Encodings bei Wiki an.

Prinzip ist recht einfach, ein Chunked Block sieht so aus:

Zitat:

Größe des Blocks (Hex) + CRLF
Datenblock

Wird als Größe des Blocks 0 geliefert, ist die Übertragung zu Ende.

Gruß Assertor