IdHTTP empfängt komische Zeichen von wikipedia (Bug?)

[atc]

Hallo,

ich bin bei der Verwendung der Indy HTTP-Komponente auf ein komisches Problem gestoßen.

Folgender Code:

Delphi-Quellcode:

memo1.Text := idhttp1.Get('http://en.wikipedia.org/wiki/A');
memo2.Text := idhttp1.Get('http://en.wikipedia.org/wiki/B');

Erzeugt diese Ausgabe: siehe Anhang.

Also das eine Dokument wird korrekt abgerufen und das andere nicht. Mit einem HTTP-Sniffer habe ich gesehen, dass die Antwort von wikipedia vollständig übertragen wird, also muss es ein Bug der Komponente sein, oder woran könnte es sonst liegen?

10.5.9.0 ist meine Indy Version.

Das Problem scheint auch nur bei der Seite http://en.wikipedia.org/wiki/A aufzutreten

[atc]

Kleiner Nachtrag: Mit Delphi 2007 und Indy 10.1.5 tritt das gleiche Problem auf.

Wenn ich die Antwort in einer Datei speichere:

Delphi-Quellcode:

fs:=tfilestream.Create('c:\a1.txt',fmcreate);
idhttp1.Get('http://en.wikipedia.org/wiki/A',fs);
fs.Free;

erhalte ich eine Datei wie im Anhang zu sehen.

Immer nur bei der Seite http://en.wikipedia.org/wiki/A

Wie kann das sein? Kann das jemand reproduzieren?

[Zacherl]

Kann ich auch bei 10.5.9.0 bestätigen. Sieht für mich nach einem Encodingproblem aus.

[Klaus01]

.. ich habe die Seite mal mit wget heruntergeladen.

Die Datei beginnt mit 1F 8B 08 (das ist die Signatur eines komprimierten Files).
Wenn man die Datei nun mit gunzip dekomprimiert bekommt man lesbaren html code.

Grüße
Klaus

[atc]

Danke, ich dachte immer Indy erledigt das mit dem (de)komprimieren automatisch...
Bleibt nur noch die Frage, warum gerade diese Seite komprimiert übertragen wird und alle anderen nicht?

[geskill]

Hey,
bei deinem GET-Request solltest du mal schauen wie dein Request.AcceptEncoding Header aussieht.

Das Stichwort ist gzip. Ist dies gesetzt wird dem Server mitgeteilt, dass er die Daten auch Komprimiert senden kann, da die Client-seite das Dekomprimieren kann.

Code:

deflate, gzip, identity, *;q=0

Damit die Indy HTTP Komponente das Dekomprimieren kann muss du lediglich eine Instanz von TIdCompressorZLib erstellen und der Compressor Eigenschaft der TidHTTP Klasse zuweisen.

Bei mir (Rev. 4861) klappt alles 1A.

Sowas kann man sich am besten auch immer per Wireshark ansehen. Auf der linken Seite der Request ohne gzip im Header, zur rechten mit der TIdCompressorZLib Klasse.

Grüße