download von website geht nichtmehr

[Jan]

Hallo DPler,
wie der Titel schon sagt hat das schonmal funktioniert, und nun auf einmal nichtmehr. Ich versuche die Anfrageergebnisse einer Website herunterzuladen (www.imdb.com) allerdings ohne erfolg. URLdownloadtofile scheint hier nicht zu klappen, auf anderen Seiten allerdings klappt es ohne Probleme.
Hat irgendjemand eine Ahnung woran das liegen könnte, und wie man das vielleicht umgehen kann?
Gruß
Jan

[Luckie]

Zitat:

Zitat von Jan

Hat irgendjemand eine Ahnung woran das liegen könnte,

Die Webseite wurde geändert?

Zitat:

und wie man das vielleicht umgehen kann?

Eigenen Code an die neuen Verhältnisse anpassen.

Sorry, aber allgemeine Frage, ziehen allgemeine Antworten nach sich. ;)

[Jan]

Hallo Luckie,
Ja, natürlich wurde die Website geändert, sonst würde das ganze ja nicht von jetzt auf gleich nichtmehr funktionieren.
Aber wenn ich im browser auf die url gehe bekomme ich auch die seite angezeigt, die ich runterladen will. Auch das runterladen der website über den browser funktioniert, aber die URLdownloadtofile function will die seite Partout nicht runterladen. Beliebige andere Websites lassen sich mit der selben Methode ohne Einwände runterladen.
Ich hab in meinem originalen Posting ja auch die entsprechende Seite angegeben die nun nicht funktioniert.
Und dass ich meinen eigenen Code an die neuen Verhältnisse anpassen muss, das hab ich mir geraade so gedacht, sonst würde ich hier auch nicht fragen wie.
Vielleicht kann ja mal jemand versuchen www.imdb.com per urldownloadtofile auf festplatte zu bannen.
Danke für Deine/Eure Zeit.
Gruß
Jan

[Jan]

Weiß denn hier wirklich gar niemand wie man mir helfen könnte?
Gruß
Jan

[Jan]

Ich hab mich im Internet mal nach anderen Lösungen umgeschaut.
Ein Freeware Projekt löst genau mein Problem, ist allerdings in Java geschrieben. Da ich keine Ahnung von Java hab, schreibe ich hier einfach mal hin wovon ich glaube, dass es genau das ist was ich brauche:

Code:

      /* Creates the url... */
      URL url = new URL("http://www.imdb.com/title/tt"+key+"/");
      /* Gets the input stream from the connection... */
      InputStream stream = url.openStream();
      /* Saves the page data in a string buffer... */
      StringBuffer data = new StringBuffer();
      int buffer;
      while ((buffer=stream.read())!=-1) {
        data.append((char)buffer);
      }
      stream.close();

Jetzt weiß ich nur nicht wie ich das nach Delphi kriege, kann mir da jemand bei helfen?

Gruß
Jan

[Brüggendiek]

Hallo Jan!

Als "Fingerübung" zur Internet-Programmierung hatte ich mal ein Programm geschrieben, das eine URL als Datei speichert. Das Ganze geht mit einem FileStream und IdHTTP.Get (also den INDYs).
Damit habe ich Deine Seite erfolgreich auf meine Platte gezogen. Allerdings: Mein Programm übermittelt als UserAgent auch

Code:

IdHTTP.Request.UserAgent :=
  'Mozilla/4.0 (compatible; MSIE 5.5; Windows 98; surfEU DE S3)';

Woher das SurfEU kommt: war mein erster Provider - und hat auch per CD den IE5.5 geliefert. Das Ganze habe ich irgendwo in der Registry gefunden.

Vermutlich ist bei Dir der UserAgent falsch gesetzt - der Server erkennt den Fremdaufrufer und sperrt ihn aus.

Gruß

Dietmar Brüggendiek