Kleine Indy 10 Http Client Warnung bezüglich UserAgent

[mjustin]

Wie sieht denn die HTTP Response aus, bei der Indy in die Endlosschleife gerät?

IdGlobalProtocols ParseHTTPMetaEquiveData wurde im September 2011 geändert, in Revision 4676.
Den Fix für das Problem kann man zum Beispiel im Atozed Indy Forum posten:

http://forums2.atozed.com/viewforum.php?f=7

Und es gibt zum Thema Endlosschleife dort auch einen Thread:

http://forums2.atozed.com/viewtopic....iveData#p26664

[Shark99]

Nachdem ich mir länger den ganzen Code angeschaut hab rate ich dringend ab ParseHTTPMetaEquiveData überhaupt zu verwenden.

Das geht mit HTTPCLIENT1.HTTPOptions := HTTPCLIENT1.HTTPOptions + [hoNoParseMetaHTTPEquiv];

Der Parse Code ist unheimlich langsam. Statt eines PChars zu verwenden, wird in der Funktion ein String indexiert, was in Delphi extrem langsam ist.

Z.B. bei dieser URI http://www.lesnumeriques.com/telecom...le-n23923.html werden (mit Code 200 OK) 120 KB Html Daten geliefert. Indy braucht dann fast eine Minute auf einem Core i7 um das durchzuparsen (mit PChar sicher in <1 Sekunde möglich). 1 Minute nach meinem Fix (ohne den Fix geht es ja unendlich lang, weil repeat nie verlassen wird).

[Shark99]

Meine erste Annahme war falsch.

Also der Bericht über den Bug (inkl Fix), und der Sacheverhalt mit dem langsamen Parser ist korrekt, allerdings verhält sich die User Agent Geschichte anders.

Der Default User Agent der Indy Lib, also Mozilla/3.0 (compatible; Indy Library) ist blacklisted auf einigen Servern, deshalb kommt 403 zurück. Ändert man ihn auf etwas anderes, dann kommt 404, was korrekt ist.

[geskill]

Hey,
hatte selber gerade noch eine kleine Anpassung der Routine vorgeschlagen.

Aber auf dieser Webseite musst du mal schauen, ein User schreibt im Beitrag im body-Teil einen HTML-Header (Topic unique du produit). Das ist es was Indy zum "verrecken" bringt
Eine Sinnvolle und Einfache Lösung ist da echt schwierig. Weil bis zum "</head" möchte ich das auch nicht gehen lassen, weil einige auch noch meta-Tags im body haben, die viele Browser auch noch fressen und script-Tags die ja mit der gleichen Routine gelesen werden - wären dann davor auch betroffen. :/

Grüße

PS: Das mit dem UserAgent ist normal; ich empfehle einfach den von einem gut genutztem Browser zu nehmen.