AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Sprachen und Entwicklungsumgebungen Sonstige Fragen zu Delphi Delphi Große String-Liste out of Memory - Hilfe?
Thema durchsuchen
Ansicht
Themen-Optionen

Große String-Liste out of Memory - Hilfe?

Ein Thema von Pogoner · begonnen am 20. Apr 2014 · letzter Beitrag vom 23. Apr 2014
 
Pogoner

Registriert seit: 10. Okt 2013
22 Beiträge
 
Delphi 6 Enterprise
 
#1

Große String-Liste out of Memory - Hilfe?

  Alt 20. Apr 2014, 14:19
Guten Tag
Folgendes Problem: Der Code funktioniert einwandfrei, solange die Stringliste nicht zu groß wird. Das wird sie allerdings unweigerlich, daher meine Frage - wie kann ich das umgehen:

Kann sein, dass hier ein oder 2 'end' komisch sitzen, da ich eine Menge Kommentarcode grade der Übersichtlichkeit wegen gelöscht habe.
Das Programm soll eine Website auf nicht-verlinkte Unter-Seiten absuchen.
Mein Problem ist leider, dass bei 52 Zeichen und über 5 Stellen (ich glaube) der Cluster zu groß wird und ich selbst mit 8GB RAM out of Memory bekomme.
Jetzt will ich die ganzen Möglichkeiten aber eigentlich garnicht speichern, sondern es würde mir ja reichen, sie direkt mit dem Spider abzufragen - wenn ich allerdings npw nicht in Cluster oder Result abspeichere, funktioniert der Code nichtmehr... Wenn mir da jemand helfen könnte, der da mehr versteht als ich, wäre das sehr nett
Ich sitze schon seit Stunden dran und habs mit Freeandnil, Destroy/Create, Savetofile und Writeln versucht, um das zu umgehen, aber ich bekomms nicht hin
Wie kann ich diese ganzen Kombinationen erstellen lassen und direkt abgreifen, ohne dass eine riesige Stringlist entsteht?

Vielen Dank schonmal


Delphi-Quellcode:
function TForm1.bruteforce (astring: string;substr: string; startlen: integer; endlen: integer):LongInt;

var
spider: TSpider;
i,n,x,y, z : integer;
npw, Zeile: string;
Txtdatei: Textfile;

label step1;

begin

Hlplst.Clear;
Cluster.Clear;
Results.Clear;

y:= 0;

spider := TSpider.Create(Self);

urls := 'www.Testwebsite.com/' ;

For x:= 1 to length(substr) do
  begin
    Hlplst.Add(substr[x]);
  end;

step1:

        for i := 0 to hlplst.Count -1 do begin
                for n := 1 to length(astring) do begin

                npw := hlplst.Strings[i]+astring[n];

               Cluster.Add(npw);
              

                if length(npw) >= startlen then
                begin
                Results.Add(npw);
            
        // Hier beginnt nur der Spider
                        urlk := urls + npw ;
                        spider.Initialize(urlk);
                        spider.CrawlNext();

                  
                         Edit1.Text := Spider.LastUrl;
                         Edit2.Text := Spider.LastHtmlTitle;

                                If Edit2.Text = 'Vorhandenthen
                                begin
                                        Memo4.Lines.Add (Edit1.Text);
                                end;
                                                
          // Hier endet er


                end;
        end;
        HlpLst.Clear ;
        hlplst.AddStrings(Cluster);
        Cluster.Clear ;
   

        if length(npw) + 1 <= endlen then goto step1;
        hlplst.Clear;
     end;
        result := 0;
        Label1.Visible := False;
       
         


        end;

  end;
  Mit Zitat antworten Zitat
 

 

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 01:34 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz