Laden bestimmter Webseite klappt nicht mit http client libs

[softtouch]

Ich versuche seit geraumer Zeit herauszubekommen, warum das Laden einer bestimmten Webseite mit http clients wie Indy, NetHTTPClient, HTTPSend und anderen nicht geht, jedoch einwandfrei mit jedem Browser klappt.
Cookies sowie header sind mit den eines Browsers identisch nachgebaut, trotzdem kommt immer ein 403 mit http clients.

Eine solche Problem-URL ist zum Beispiel: https://www.eroids.com/reviews

JavaScript oder cookies können im Browser gesperrt werde, die Seite wird trotzdem einwandfrei im Browser geladen.

Alle anderen Webseiten, welche ich probiert habe (tausende), klappen einwandfrei, nur eben die oben genannte nicht und ich finde einfach nicht heraus, warum die nicht geladen werden kann.

Ganz komisch ist auch, wenn ich httpdebugger im Hintergrund laufen habe, wird die Seite einwandfrei geladen.

Hat jemand eine Idee, warum es bei dieser Seite nicht geht, oder sogar einen code der die Seite ohne 403 lesen kann?

[Delphi.Narium]

Bei den Indys kann es helfen, wenn man den UserAgent auf den eines aktuellen Browsers setzt. Klappt nicht immer und überall, aber bei einigen Seiten schon.

[softtouch]

Zitat:

Zitat von Delphi.Narium (Beitrag 1498575)

Bei den Indys kann es helfen, wenn man den UserAgent auf den eines aktuellen Browsers setzt. Klappt nicht immer und überall, aber bei einigen Seiten schon.

Habe ich alles schon gemacht. Habe den kompletten Header von Chrome nachgebaut, ohne Erfolg.

[Delphi.Narium]

Hast Du dabei auch die Eigenschaft UserAgent entsprechend gesetzt?

[softtouch]

Zitat:

Zitat von Delphi.Narium (Beitrag 1498578)

Hast Du dabei auch die Eigenschaft UserAgent entsprechend gesetzt?

Ja, habe ich. Useragent war auch mein erster Gedanke.

[Delphi.Narium]

Hab's gerade mal mit PascalScript und Indy (via Delphi 7-Programm) probiert.

Bekomme ein Ergebnis.

UserAgent ist 'Mozilla/5.0 (Windows NT 5.1; rv:52.0) Gecko/20100101 Firefox/52.0'.

SSLMethod = sslvSSLv2

Ohne SSL gib's kein Ergebnis.

Delphi 7 und UserAgent mit NT 5.1 zeigt: Schon ziemlich altes Zeug. Sollte mit aktuellerem Werkzeug also erst recht klappen, JavaScript und Cookies sind dem Programm völlig fremd.

[softtouch]

Zitat:

Zitat von Delphi.Narium (Beitrag 1498581)

Hab's gerade mal mit PascalScript und Indy (via Delphi 7-Programm) probiert.

Bekomme ein Ergebnis.

UserAgent ist 'Mozilla/5.0 (Windows NT 5.1; rv:52.0) Gecko/20100101 Firefox/52.0'.

SSLMethod = sslvSSLv2

Ohne SSL gib's kein Ergebnis.

Delphi 7 und UserAgent mit NT 5.1 zeigt: Schon ziemlich altes Zeug. Sollte mit aktuellerem Werkzeug also erst recht klappen, JavaScript und Cookies sind dem Programm völlig fremd.

Bei mir geht sslvSSLv2 nicht. Default ist auch sslvSSLV23. Aber selbiges Ergebnis, eine 403.
Ich nutze Delphi 11.

[Delphi.Narium]

sslvSSLv2 ist eine Teilmenge von sslvSSLV23.

Grob formuliert bedeutet sslvSSLV23: Liebe Komponente, bitte suche Dir gefälligst selbst was aus, ich weiß es nicht oder habe keine Lust herauszufinden, was da zu nehmen ist ;-)

Der Fehler 403 bedeutet übrigens nicht, dass sslvSSLv2 nicht funktioniert, sondern lediglich, dass Du auf die Seite nicht zugreifen darfst. Um den Fehler 403 zu bekommen, muss erfolgreich eine Verbindung hergestellt worden sein, andernfalls wäre der Server überhauptnicht in der Lage Dir die 403 zu schicken.

Könnte auch sein, dass die prüfen, ob man per Browser oder mit anderer Software auf die Seite zugreift. Nimmt man keinen Browser, so könnte bei zuvielen Zugriffen einfach Deine IP gesperrt werden, so von wegen: Unerlaubter Zugriff: Verdacht auf Datenklau. ...

Vielleicht hab' ich ja nur Glück gehabt, da ich maximal drei Mal auf die Seite zugegriffen habe, bis ich erfolgreich den Inhalt im Programm hatte.

Schau doch mal in den Nutzungsbedingungen der Seite nach, was die so zum Zugriff mit beliebiger Software, aber nicht mit 'nem Browser sagen. Manche Seiten äußern sich da dann ganz klar in die Richtung: IP wird gesperrt.

[ol1uw]

Hallo

Falls nicht SSL das Problem ist, dann vielleicht die geforderte Übertragung-Kompression ?

Uwe