Webseite auf Erreichbarkeit prüfungen funktioniert nicht

[faux]

Hallo!

Ich will ein einfaches Programm schreiben, welches Webseiten auf Erreichbarkeit prüft.
Ich habe den Code aus diesem Thread benutzt, jedoch werden mir manche URLs trotz Erreichbarkeit immer als unerreichbar eingestuft. Diese Seiten sind zum Beispiel: www.google.com (mit de, at funktioniert es (ev. redirection?)), http://8ung.at, http://tripod.lycos.de, www.uploadx.net, http://uppit.com, www.4shared.com, etc. (keine Ahnung was das für Webseiten sind, die sind nicht von mir).
Woran liegt das?! Gibts ne andere Möglichkeit eine Webseite auf Erreichbarkeit zu prüfen?

Grüße
Faux

[Luckie]

Zitat:

Zitat von faux

Gibts ne andere Möglichkeit eine Webseite auf Erreichbarkeit zu prüfen?

Da du uns nicht sagst, wie du sie auf Erreichbarkeit prüfst, ist das schwer zu sagen.

[faux]

Zitat:

Zitat von Luckie

Zitat:

Zitat von faux

Gibts ne andere Möglichkeit eine Webseite auf Erreichbarkeit zu prüfen?

Da du uns nicht sagst, wie du sie auf Erreichbarkeit prüfst, ist das schwer zu sagen.

Zitat:

Zitat von faux

Ich habe den Code aus diesem Thread benutzt

:zwinker:

[Luckie]

Ups. Änder mal den UserAgent. Google block, glaube ich, den standard UserAgent der Indys.

[faux]

Zitat:

Zitat von Luckie

Ups. Änder mal den UserAgent. Google block, glaube ich, den standard UserAgent der Indys.

Wenn ich ihn auf Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) (IE 6) ändere gehts auch nicht. :(
Fehler, wenn ich das Programm mit Debugger laufen lassen:
www.google.com: Zeitüberschreitung beim Lesen.
http://lycos.tripod.com: HTTP/1.1 301 Moved Permanently

Das was bei Lycos kommt ist mir klar, wie kann ich aber der URL folgen? Geht das?
Und aus dem Fehler von Google werd ich nicht schlau. Habe das Readtimeout auf 5000 gestzt... :gruebel:

Grüße
Faux

[Luckie]

Was sagt denn mein BookmarkChecker dazu: http://www.michael-puff.de/Programme...er/index.shtml

[faux]

Zitat:

Zitat von Luckie

Was sagt denn mein BookmarkChecker dazu: http://www.michael-puff.de/Programme...er/index.shtml

Sehe gerade, dass du das auch mit dem TIdHTPP gelöst hast. Besser finde ich aber, dass du den Statuscode auswertest und den HTTP Header und dich nicht ausschließlich auf den Fehlschlag der Funktion verlässt.
Was ich jedoch seltsam finde ist, dass die URLs http://www.windowspower.de/winxp.html, http://www.opensourcecms.com/index.php und http://www.foundstone.com als Fehlercode 403 erhalten (Forbidden), obwohl sie eigentlich ganz normal aufrufbar sind. Kann das am Userclient liegen, den du sendest?

Grüße
Faux

[flossinger]

Hallo Manuel,

hab deine Adressen mit meinem REQUESTOR Programm getestet.
Offensichtlich wertest du den http respose mit dem status code und der fallweise angegebenen location nicht aus.

So siehts aus:

Zitat:

www.google.com/

HTTP/1.0 302 Found
Location: http://www.google.at/


8ung.at/

HTTP/1.1 302 Found
Location: www/


tripod.lycos.de/

HTTP/1.1 302 Found
Location: http://www.tripod.lycos.de


www.uploadx.net/

HTTP/1.1 301 Moved Permanently
Location: http://www.uploadx.com/


uppit.com/

error 10049
uppit.com not found


www.4shared.com/

HTTP/1.1 200 OK


www.windowspower.de/winxp.html

HTTP/1.1 200 OK

Bei 301 und 302 beispielsweise ist doch im http response die Location angegeben. Warum wohl? Der kannst du folgen wenn du dir die Mühe machst.

Client habe ich beiden Tests keinen angegeben. Auf Wunsch teste ich aber auch Clientzeilen, die du postest.

Grüsse,
der flossinger

[marabu]

Hallo Manuel,

dein Ansatz nur mit Head() ist vielleicht etwas zu minimalistisch. Probiere doch mal die Funktionen aus diesem thread aus: url existiert?

Grüße vom marabu