Website durchsuchen

[Mark90]

HI leute,

ich hab mal schon wieder eine Frage. Gibt es eine Möglichkeit eine Website (mit z.b. Indy) nach bestimmten dateien zu durchsuchen?

z.b. nach *.txt dokumenten oder *.html dokumenten

[Klaus01]

Hallo,

nun, indy durchscuth nicht die html Dateien.
Mit idhttp kannst zu z.B. das html Document in eine Stringlist oder einen Stream
laden.
Die StringList oder den Stream mußt Du dann selber nach dem was Du finden willst durchsuchen.

Grüße
Klaus

[Mark90]

@klaus1 Ich möchte eigentlich nicht das html dokument durchsuchen sondern die komplette website auf dateien, die man auf der SEite runterladen kann!

aber oK

[Klaus01]

Zitat:

Zitat von Mark90

@klaus1 Ich möchte eigentlich nicht das html dokument durchsuchen sondern die komplette website auf dateien, die man auf der SEite runterladen kann!

aber oK

Aha, und wo ist der Unterschied zwischen eine WebSeite und html Documenten.
Eine Webseite besteht aus verlinkten html Seiten.
Eine Webseite wie Du sie siehst wird im Webbrowser visualisiert Grundlage ist das html Document.

Grüße
Klaus

[Mark90]

Imprinzip schon! Wenn du suchen würdest würdest du das Html dokument auf z.b. datei.txt durchsuchen und da wo es vorkommt den pfad extrahieren und downloaden. Habe ich das richtig interpretiert?

[Klaus01]

Zitat:

Zitat von Mark90

Imprinzip schon! Wenn du suchen würdest würdest du das Html dokument auf z.b. datei.txt durchsuchen und da wo es vorkommt den pfad extrahieren und downloaden. Habe ich das richtig interpretiert?

Ja, denn das HTML Dokument ist auch mehr oder wenger eine TextDatei mit bestimmten formatierungen.
Grüße
Klaus

[marabu]

Hallo,

Kernstück eines WebSpiders ist eine Funktion, welche die auf einer HTML-Seite vorhandenen Links ermittelt und dann die entsprechenden Seiten rekursiv aufsucht: ExtractLinks()

Vorsicht vor Endlosschleifen. Und da alle Seiten einer web site einen nicht zyklusfreien Graph beliebigen Grades darstellen, sollte man auch eine maximale Rekursionstiefe festlegen.

Grüße vom marabu

[pilic]

So nebenbei, Klaus01 er hat nach einer Website gefragt und nicht nach einer Webseite. Aber ich glaube nicht, dass es die Möglichkeit gibt das Verzeichnis zu durchsuchen, auch nicht mit php, da es ja nicht auf dem eigenen Server liegt.

[marabu]

Hallo Dominik,

Zitat:

Zitat von Klaus01

... Eine Webs(e)ite besteht aus verlinkten html Seiten. ...

ich habe den Eindruck, dass Klaus den Unterschied sehr gut kennt. Lass dich vom Schreibfehler nicht täuschen.

Freundliche Grüße

[Mark90]

hi marabu,

funzt sowas mit der indy nicht? Oder wie verwendest du diese funktion

Delphi-Quellcode:

procedure ExtractLinks(doc: IHTMLDocument2; s: TStrings);
var
  ec: IHTMLElementCollection;
  e: IHTMLElement;
  i: integer;
  url: Variant;
begin
  ec := doc.links;
  for i := 0 to Pred(ec.length) do
  begin
    e := ec.item(i, 0) as IHTMLElement;
    url := VarToStr(e.getAttribute('href', 0));
    if url <> '' then
      s.Add(url);
  end;
end;