ImmoScout Seite mit IDHTTP vollständig einlesen funkt nicht

[bogdan]

Mit IdHTTP.Get versuche ich die folgende Seite einzulesen:

https://www.immobilienscout24.de/expose/111242696

Leider fehlen im Response Text (HTML Quellcode) einige Angaben, wie zb. der Block "Kaufnebenkosten".

Hat Jemand eine Idee woran das liegen könnte?

[Der schöne Günther]

Ohne es angesehen zu haben: Viele Seiten laden Content erst später per JavaScript nach. Unter anderem auch um das "Scraping" von Inhalten zu verhindern:

https://de.wikipedia.org/wiki/Screen...Verschleierung

Man kann dann natürlich einen richtigen Webbrowser nehmen, warten bis die Seite fertig aufgebaut ist und sich dann die Inhalte zusammensuchen, aber das hält auch nur bis zum nächsten Redesign der Seite.

Ich hatte mal aus Spaß versucht mir so etwas für XHamster zu bauen, aber das artet irgendwann nur noch in stupide Fleißarbeit aus...

[bogdan]

Hallo Günther,

ich vermute auch, dass dieser Block erst beim Laden per JavaScript angezeigt wird.

Mit TWebBrowser funktioniert das ja auch und ich kann den Quelltext 100% auslesen.
Das Problem mit dem WebBrowser ist nur, dass sich die Applikation im RAM aufbläht und dann hat man schnell eine Fehlermeldung wegen nicht ausreichendem Arbeitsspeicher.

TWebBrowser.Free funktioniert da auch nicht. Der RAM bleibt voll.

XHamster...yeaah :wink:

[Der schöne Günther]

Der TWebBrowser läuft standardmäßig nur als Internet Explorer 7-Emulation, der kann heute wahrscheinlich gar nichts mehr. Hast du den schon auf IE11 gesetzt?

[bogdan]

Bei FormCreate rufe ich die folgende Procedure auf:

Code:

procedure SetWebbrowserMode(Mode: TIEMode; AppName: string = '');
const
  REG_KEY = 'Software\Microsoft\Internet Explorer\Main\FeatureControl\FEATURE_BROWSER_EMULATION';
var
  Reg: TRegistry;
  Value: Integer;
begin
  if AppName = '' then AppName := ExtractFileName(Application.ExeName);
  Case Mode of
    iemIE7 : Value := $1B58;
    iemIE8 : Value := $1F40;
    iemIE10 : value := $2710;
    iemIE11 : Value := $2af8;
  end;
  Reg := TRegistry.Create();
  try
    Reg.RootKey := HKEY_CURRENT_USER;
    if Reg.OpenKey(REG_KEY, True) then
    begin
      Reg.WriteInteger(AppName, Value);
      Reg.CloseKey;
    end;
  finally
    Reg.Free;
    end;
end;

Mit WebBrowsers Speicherproblem hat das aber nichts zu tun.

[Rollo62]

Vielleicht hilft dir die Phantom-Js Browser Library ?
http://techslides.com/grabbing-html-...js-or-casperjs
Die müsste man auch mit dem embedded TWebBrowser aufrufen können, und dann damit auch JS-Seiten einlesen und parsen können.

[bogdan]

Hallo Rollo,

danke für den Link. Schaue ich mir mal genauer an.

[Schokohase]

Ich will ja kein Spielverderber sein, aber die AGB für die Nutzung der über die Website www.immobilienscout24.de zugänglichen Services der Immobilien Scout GmbH sagen

Zitat:

8. Rechte an der Datenbank
8.1. ImmobilienScout24 ist Rechtsinhaber an den Inhalten der Website und der Datenbank. Sämtliche Urheber-, Marken-und sonstigen Schutzrechte an dem Datenbankwerk, der Datenbank und den hier eingestellten Inhalten, Daten und sonstigen Elementen stehen ausschließlich ImmobilienScout24 zu; etwaige Rechte des Nutzers an den von ihm eingestellten Inhalten bleiben hiervon unberührt.

8.2. Der Nutzer hat im Rahmen dieser Nutzungsbedingungen das Recht, ausschließlich unter Verwendung der von ImmobilienScout24 zur Verfügung gestellten Online-Suchmasken einzelne Datensätze auf seinem Bildschirm sichtbar zu machen und zur dauerhaften Sichtbarmachung einen Ausdruck zu fertigen. Eine automatisierte Abfrage durch Scripte, durch Umgehung der Suchmaske durch Suchsoftware oder vergleichbare Maßnahmen sind nicht gestattet.

8.3. Der Nutzer darf die durch Abfrage gewonnenen Daten weder vollständig, noch teilweise oder auszugsweise zum Aufbau einer eigenen Datenbank in jeder medialen Form und/oder für eine gewerbliche Datenverwertung oder Auskunftserteilung und/oder für eine sonstige gewerbliche Verwertung verwenden. Die Verlinkung, Integration oder sonstige Verknüpfung der Datenbank oder einzelner Elemente der Datenbank mit anderen Datenbanken oder Meta-Datenbanken ist unzulässig.

[bogdan]

Hallo Schokohase,

Immos AGB sind mir bekannt aber nicht das Thema hier.

[Schokohase]

Zitat:

Zitat von bogdan (Beitrag 1432657)

Hallo Schokohase,

Immos AGB sind mir bekannt aber nicht das Thema hier.

Sind dir die AGBs und Nutzungsbedingungen von diesem Forum auch bekannt? Denn nach denen sind solche Fragen hier nicht gestattet.

Zitat:

Du stehst dafür ein und Du bist dafür alleine verantwortlich, dass die von Dir eingestellten Inhalte nicht gegen gesetzliche Vorschriften oder Rechte Dritter verstoßen.

[bogdan]

Hier gibt es genug Threads die gegen alles Mögliche verstossen.
Das ist aber hier nicht das Thema.

[Schokohase]

Zitat:

Zitat von bogdan (Beitrag 1432664)

Hier gibt es genug Threads die gegen alles Mögliche verstossen.

Wenn alle so denken würden, dann sollte man keine Kinder mehr nach Lügde oder auf Campingplätze lassen.

Aber du machst das schon. Viel Erfolg

[Daniel]

Der Hinweis ist völlig angebracht. Bei machen Webseite ist es nicht ganz klar, wie sie dazu stehen, wenn sie automatisiert abgefragt werden - hier aber hat sich der Betreiber unmißverständlich positioniert.
Was sie aber anbieten, ist eine API:
https://api.immobilienscout24.de

Das wäre hier der saubere Weg.

[bogdan]

Hallo Daniel,

die API habe ich mir auch schon angeschaut, leider werden die notwendigen Informationen nicht übertragen.

Rollo's Link hat mich schon mal weiter gebracht.