Große String-Liste out of Memory - Hilfe?

[Pogoner]

Wow ihr seid ja schnell
Ich benutze Delphi 6.
Mein System ist 32bit.

Allein schon, dass die Cluster-Stringlist bei 5 Stellen knapp 600MB verbraucht, und ich bis 10 Zeichen gehen muss (exponentiell steigend) macht die 8GB irrelevant...

Gefolgt bin ich diesem Tutorial hier, bei dem die Funktion besser erklärt ist, als ich es könnte: http://www.delphipraxis.net/attachme...delphi_131.pdf

Kurz gesagt:
_____a___b___c___d
aa| aaa aab aac aad
ab| aba abb abc abd
ac| aca acb acc acd
ad| ada adb adc add

Linke Spalte ist die Hlplst, die Kombinationen ist die Cluster-Stringlist
Aber ehrlichgesagt hab ich nicht verstanden, wo ich wann meine Cluster-Werte abgreifen kann und die Cluster-Liste wieder reseten kann, ohne dass sie wieder von vorne anfängt...

Die Edit-Felder mach ich raus und frage es direkt ab - guter Hinweis.

Danke nochmals^^

[Sir Rufo]

Zitat von Pogoner:

ich selbst mit 8GB RAM out of Memory bekomme

von denen du rein gar nichts hast bei einer 32bit Anwendung.

Und wenn du den Speicher stark fragmentierst, dann ist sogar schon weit vor der 32bit-Grenze von 2GB Schluss.

[Pogoner]

Zitat von Sir Rufo:

Und wenn du den Speicher stark fragmentierst, dann ist sogar schon weit vor der 32bit-Grenze von 2GB Schluss.

Ja aber das ist ja nicht mein primäres Problem - Selbst wenn ich 100GB nutzen könnte, würde mir das in dem Fall nicht helfen, da der Bedarf mit jeder Stelle Faktor 10 wächst. Deshalb will ich die Cluster-Liste ganz vermeiden und die Einträge direkt in den Spider einspeisen... Nur ich weiß eben nicht, wo/wie ich das tun kann...

[Sir Rufo]

Irgendwie erstellst du ja diese Liste, also du erstellst jeden einzelnen Eintrag und fügst diesen in die Liste.

Nun füg den Wert nicht in die Liste, sondern übergib den Wert an die Routine, die etwas damit macht

[Pogoner]

Ja das will ich ja die ganze Zeit Aber wie schon 2x gesagt - ich weiß nicht, wo ich das tun muss. Für mich mit meinem einfachen Delphi-Gemüt liest sich der Code nicht so einfach

Delphi-Quellcode:

step1:

        for i := 0 to hlplst.Count -1 do begin
                for n := 1 to length(astring) do begin

                npw := hlplst.Strings[i]+astring[n];

               Cluster.Add(npw);                  //wenn ich das hier entferne, gehts nichtmehr
                                                  //dann kommt nur aa bis a0, aber nicht aaa-aa0 etc
                                                  //sonst hätte ich es hier abgegriffen
                                                  //desweiteren loopt es dann die aa-a0 immer wieder
                if length(npw) >= startlen then
                begin
                Results.Add(npw);                  
                end;
        end;
        HlpLst.Clear ;
        hlplst.AddStrings(Cluster);
        Cluster.Clear ;
   

        if length(npw) + 1 <= endlen then goto step1;
        hlplst.Clear;
     end;
        result := 0;
        Label1.Visible := False;

€dit - Und mir ist schon bewusst, dass das für euch wahrscheinlich eine blöde Frage ist.... Sorry^^

[Uwe Raabe]

Wenn ich das jetzt richtig verstanden habe, nimmt man die Buchstaben aus substr und fügt jeweils alle Kombinationen der Buchstaben aus astring an. Die resultierenden Kombinationen werden, so sie eine Länge von startlen bis endlen haben in die Liste result geschrieben und dem Spider übergeben.

Frage: Was passiert mit der Liste results? Die wird in deinem Code nirgendwo sonst verwendet.

[Sir Rufo]

Wenn ich mir das so betrachte, dann ist Results die Liste, die ständig wächst.
Sollten diese Werte irgendeine Relevanz haben, dann kann man diese auch direkt in eine Datei schreiben und damit den Speicher entlasten.

Kommentiere zunächst mal das Results.Add(...); aus und schau dir den Speicherverbrauch an.

Ich weiß aber nicht, ob ich zum Thema BruteForce und Webseiten hier wirklich weiterhelfen möchte ...

[Pogoner]

Zitat von Uwe Raabe:

Wenn ich das jetzt richtig verstanden habe, nimmt man die Buchstaben aus substr und fügt jeweils alle Kombinationen der Buchstaben aus astring an. Die resultierenden Kombinationen werden, so sie eine Länge von startlen bis endlen haben in die Liste result geschrieben und dem Spider übergeben.

Frage: Was passiert mit der Liste results? Die wird in deinem Code nirgendwo sonst verwendet.

Ja die Results-Liste stammt noch aus dem "Tutorial" - anstatt in die Liste, möchte ich es in den Spider übergeben. Bevor ich das tun kann, wird die Cluster-Liste allerdings zu groß und ich kann ehrlichgesagt mit den Schleifen nicht so gut umgehen, um es im richtigen Moment abzugreifen bzw die Liste wieder freizugeben...

Zitat von Sir Rufo:

Kommentiere zunächst mal das Results.Add(...); aus und schau dir den Speicherverbrauch an.

Die Results ist ja nur ein Teil der Cluster-Liste. Ich habe sie kommentiert und bin nur 100MB runter, der Großteil ist von der anderen belegt... (Mittelteil meiner Tabelle mit allen Kombinationen)

Zitat von Sir Rufo:

Sollten diese Werte irgendeine Relevanz haben, dann kann man diese auch direkt in eine Datei schreiben und damit den Speicher entlasten.

Die Werte haben keine Relevanz - außer dass ich sie (wenn sie x Stellen lang sind) dem Spider übergeben möchte

Zitat von Sir Rufo:

Ich weiß aber nicht, ob ich zum Thema BruteForce und Webseiten hier wirklich weiterhelfen möchte ...

Naja also ich will ja kein Passwort knacken oder etwas ähnliches - es ist mehr eine sportliche Herausforderung, eine versteckete Unterseite zu finden. Diese ist offen zugänglich für den, der den Link kennt - Keine Sorge