Große String-Liste out of Memory - Hilfe?

[Uwe Raabe]

Zitat von Pogoner:

Zitat von Sir Rufo:

Ich weiß aber nicht, ob ich zum Thema BruteForce und Webseiten hier wirklich weiterhelfen möchte ...

Naja also ich will ja kein Passwort knacken oder etwas ähnliches - es ist mehr eine sportliche Herausforderung, eine versteckete Unterseite zu finden. Diese ist offen zugänglich für den, der den Link kennt - Keine Sorge

Ganz so unbedarft ist das aber nicht! Nach deiner Aussage kommen da 380204032 Strings zusammen, von denen ein großer Teil zu einem HTML-Call führt. Das kann durchaus schon als Versuch einer DOS-Attacke angesehen werden.

Abgesehen davon wurde dir der passende Lösungsansatz bereits in Post 3 aufgezeigt.

[Pogoner]

Okay, dann muss ich eine Pause einbauen - eine DDOS Attacke möchte ich nicht verursachen, sonst hätte ich mir die Mühe nicht gemacht und einfach LOIC runtergeladen...
Die nichtexistierenden Seiten haben keinen HTML-Titel - also es wird nichts eingetragen...

Ich denke, gemeint mit der Lösung ist die For-While Schleife mit Continue?
Es wäre super-nett wenn mir das jemand als Code-Beispiel aufschreiben könnte, wo mir das mit der Cluster-Listengröße weiterhilft?
Wenn ich nicht mit meinem minderen Wissen schon stundenlang rumgetestet hätte, würde ich euch hier auch nicht darum bitten, mir am besten ein Lösungsbeispiel zu geben...

[Popov]

Ich habe mir die ganzen Antworten jetzt nicht richtig durchgelesen und so ganz verstehe ich nicht was das Ergebnis sein soll, aber es gibt den alten Spruch: kommt der Prophet nicht zum Berg, muss der Berg zum Propheten kommen (oder so in der Art). Out of Memory bedeutet nicht immer, dass zuwenig RAM allgemein da ist, sondern auch, dass es zu wenig an einem Stück da ist. Wenn also der RAM Speicher nicht ausreicht, wie wäre es wenn du die Liste direkt auf der Festplatte erstellst?

[Uwe Raabe]

Zitat von Pogoner:

Ich denke, gemeint mit der Lösung ist die For-While Schleife mit Continue?

Eigentlich zielte ich eher auf die Rekursion hin. Also in etwa so:

Delphi-Quellcode:

function TForm1.bruteforce(astring: string;substr: string; startlen: integer; endlen: integer):LongInt;

  procedure CheckURL(const url: string);
  begin
    spider.Initialize(urlk);
    spider.CrawlNext();

    Edit1.Text := Spider.LastUrl;
    Edit2.Text := Spider.LastHtmlTitle;

    If Edit2.Text = 'Vorhanden' then begin
      Memo4.Lines.Add (Edit1.Text);
    end;
  end;

  Procedure TesteString(const Basis: string);
  var
    npw: string;
    I: Integer;
  begin
    for I := 1 to Length(astring) do begin
      npw := Basis + astring[I];
      if startlen <= Length(npw) then begin
        CheckURL(urls + npw);
      end;
      { Abbruchbedingung }
      if Length(npw) < endlen then begin
        { hier probieren wir dann ein Zeichen mehr }
        TesteString(npw);
      end;
    end;
  end;

var
  I: Integer;
begin
  For I := 1 to length(substr) do begin
    TesteString(substr[I]);
  end;
end;

Bei solchen Rekursionen muss man zwar auf seinen Stack aufpassen, aber da der Parameter als const übergeben wird, der lokale string auf dem Heap angelegt wird und die Rekusionstiefe maximal endlen ist sollte das kein Problem werden. Diese Lösung verbraucht fast gar keinen Speicher.

[Pogoner]

Zitat von Uwe Raabe:

Bei solchen Rekursionen muss man zwar auf seinen Stack aufpassen, aber da der Parameter als const übergeben wird, der lokale string auf dem Heap angelegt wird und die Rekusionstiefe maximal endlen ist sollte das kein Problem werden. Diese Lösung verbraucht fast gar keinen Speicher.

Ich musste 2x lesen:)

Erstmal vielen vielen Dank für die Mühe, mir eine konkrete Lösung hinzuschreiben :thumb:

Also nachdem ich es jetzt geschafft habe, diese Prozeduren richtig zu deklarieren und TForm1 davorzumachen, musste ich es etwas drehen, weil er sonst einen Fehler gebracht hat (; erwartet aber . gefunden bei TForm1"."CheckURL):

Allerdings ist noch irgendein Fehler drin?

Delphi-Quellcode:

function TForm1.bruteforce(astring: string;substr: string; startlen: integer; endlen: integer):LongInt;

{das hier hab ich nach oben}

  var
  I: Integer;

begin
  For I := 1 to length(substr) do begin
    TesteString(substr[I]);
  end;
  end;



procedure TForm1.CheckURL(const url: string);
begin
//spider.Initialize(urlk);
//    spider.CrawlNext();
    showmessage ('CheckURL');
    Edit1.Text := Spider.LastUrl;
    Edit2.Text := Spider.LastHtmlTitle;

    If Edit2.Text = 'Vorhanden' then begin
      Memo4.Lines.Add (Edit1.Text);
      end;
end;

procedure TForm1.TesteString(const Basis: string);
var
    npw: string;
    I: Integer;
  begin
 // Showmessage ('works');                                  //Message kommt
    for I := 1 to Length(astring) do begin
      npw := Basis + astring[I];
  //    showmessage (npw);                                  //Message kommt nicht
      if startlen <= Length(npw) then begin
        CheckURL(urls + npw);
      end;
      { Abbruchbedingung }
      if Length(npw) < endlen then begin
        { hier probieren wir dann ein Zeichen mehr }
 //        showmessage (npw + 'Nr.2');                       //Message kommt nicht
        TesteString(npw);
      end;
    end;
  end;

Angesteuert hab ich es per bruteforce('abcd','abcd',2,2); - Aber bis auf die erste Nachricht kommt nichts weiter? :?

[Uwe Raabe]

Wenn du mal genau hinsiehst, wirst du merken, daß die Prozeduren CheckURL und TesteString lokal zu der Methode bruteforce deklariert sind und nicht als Methoden von TForm1. Bei CheckURL ist das ziemlich egal, aber bei Testestring werden die an bruteforce übergebenen Parameter (astring, startlen und endlen) verwendet. In deiner Version kann es die aber nicht sehen. Die Tatsache, daß es anscheinend trotzdem compiliert, läßt vermuten, daß es noch andere Variablen dieses Namens gibt. Ob die aber immer den richtigen Inhalt haben ist eher fraglich.