Man sollte vor dem Auslesen von Webseiten die Datei
robots.txt auslesen und beachten.
Wenn man ALLE Disallow-Sektionen beachtet, ohne Ansehen des User-Agents, dann kann niemand behaupten, man hätte nicht alles getan um im legalen Bereich zu bleiben.
Der Webseitenbetreiber kann so jederzeit das automatische Auslesen seiner Webseiten verhindern.
Ich denke, damit sollte diese "Legal oder Illegal" Diskussion beendet sein.