http://www.mein-dortmund.de/harvester.html
Was ist denn ein unerwünschter Spider?
Die Bots gewisser Suchmaschinen lass ich rein und für Einige stellt die Seite sogar entsprechende Suchhilfen zur Verfügung.
Außerdem meldet meine Seite Änderungen an einige Suchprovider, bzw. stellt Inhaltinfos mit Datumsangaben bereit, damit die Indizierung meiner Seiten schneller geht und weniger Serverlast verursacht, da diese Spider nicht ständig sinnlos ALLES neu auslesen müssen.
Google und Co. müssen meine Webseite nicht wild nach internen Links durchsuchen, da sie die Seitenstruktur direkt geliefert bekommen.
Ja, man kann fast alles "fälschen", beim Zugriff auf den Webserver, und gibt sich dann als jemand Anderes aus, aber dazu sag ich mal nichts.
Daniel hat bestimmt auch paar Benachrichtigungsfunktionen hier aktiv, damit wir schneller mit aktuellen Themen gefunden werden.
E-Mail Spider Programm
E-Mail Spider Programm Delphi