AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Netzwerke Delphi Mit welchen Befehlen Text aus Websiten lesen?

Mit welchen Befehlen Text aus Websiten lesen?

Ein Thema von Delphi_gn7 · begonnen am 5. Feb 2010 · letzter Beitrag vom 14. Feb 2010
Antwort Antwort
Seite 2 von 2     12
Benutzerbild von sx2008
sx2008

Registriert seit: 16. Feb 2008
Ort: Baden-Württemberg
2.332 Beiträge
 
Delphi 2007 Professional
 
#11

Re: Mit welchen Befehlen Text aus Websiten lesen?

  Alt 14. Feb 2010, 08:40
Man sollte vor dem Auslesen von Webseiten die Datei robots.txt auslesen und beachten.
Wenn man ALLE Disallow-Sektionen beachtet, ohne Ansehen des User-Agents, dann kann niemand behaupten, man hätte nicht alles getan um im legalen Bereich zu bleiben.
Der Webseitenbetreiber kann so jederzeit das automatische Auslesen seiner Webseiten verhindern.

Ich denke, damit sollte diese "Legal oder Illegal" Diskussion beendet sein.
  Mit Zitat antworten Zitat
Daniel
(Co-Admin)

Registriert seit: 30. Mai 2002
Ort: Hamburg
13.920 Beiträge
 
Delphi 10.4 Sydney
 
#12

Re: Mit welchen Befehlen Text aus Websiten lesen?

  Alt 14. Feb 2010, 09:41
Zitat von sx2008:
Ich denke, damit sollte diese "Legal oder Illegal" Diskussion beendet sein.
Danke.
Daniel R. Wolf
mit Grüßen aus Hamburg
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
44.125 Beiträge
 
Delphi 12 Athens
 
#13

Re: Mit welchen Befehlen Text aus Websiten lesen?

  Alt 14. Feb 2010, 10:18
Bieten die Indys nicht irgendwo eine Funktion, um den Host aus einer URL zu extrahieren?
Irgendwo muß die robots.txt ja auch gesucht werden und ich hab keine Lust das manuell zu zerpflücken.

Delphi-Quellcode:
Function SiteDownload(Var GetText: String; URL: String;
    HTTPOption: TIdHTTPOptions = [hoForceEncodeParams];
    ProxyServer: String = ''; ProxyUsername: String = ''; ProxyPassword: String = '';
    ProxyPort: Integer = 80; RobotName: String = 'dpSiteGraber'): Boolean;

  Var H: TIdHTTP;
    rURL, S: String;


  Begin
    H := TIdHTTP.Create(nil);
    Try
      H.HandleRedirects := True;
      If ProxyServer <> 'Then Begin
        H.ProxyParams.ProxyServer := ProxyServer;
        H.ProxyParams.ProxyPort := ProxyPort;
        H.ProxyParams.ProxyUsername := ProxyUsername;
        H.ProxyParams.ProxyPassword := ProxyPassword;
      End;
      H.HTTPOptions := HTTPOption;
      H.Request.UserAgent := RobotName + '-Mozilla/3.0 (compatible; Indy Library)';
      H.Request.Accept := 'text/plain, */*';

      S := H.Get(rURL + 'robots.txt');


      H.Request.Accept := 'text/html, */*';
      GetText := H.Get(URL);
      Result := GetText <> '';
    Finally
      H.Free;
    End;
  End;
Neuste Erkenntnis:
Seit Pos einen dritten Parameter hat,
wird PosEx im Delphi viel seltener praktiziert.
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 07:48 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz