Dateien in einem Ordner rekursiv in parallelem Task zählen

[PeterPanino]

Hallo!

Ich habe mir eine Routine geschrieben, die rekursiv die in einem Ordner enthaltenen Dateien in einem parallelen Task zählt:

Delphi-Quellcode:

uses
  System.Threading;

procedure TForm1.CountFilesTask(const ADir: string);
var
  ThisTask: ITask;
begin
  ThisTask := TTask.Create(
    procedure()
    var
      count: Integer;

      procedure FileSearch(const ThisDir: string);
      var
        SR: TSearchRec;
      begin
        if FindFirst(IncludeTrailingPathDelimiter(ThisDir) + '*', faAnyFile, SR) = 0 then
        begin
          try
            repeat
              if (SR.Attr and faDirectory) = 0 then
              begin
                Inc(Count);
                TThread.Synchronize(nil,
                  procedure
                  begin
                    lblShowFilesCount.Caption := IntToStr(count) + ' files';
                  end);
              end
              else if (SR.Name <> '.') and (SR.Name <> '..') then
              begin
                FileSearch(IncludeTrailingPathDelimiter(ThisDir) + SR.Name);
              end;
            until FindNext(SR) <> 0;
          finally
            FindClose(SR);
          end;
        end;
      end;

    begin
      CodeSite.Send('VOR Suche');
      FileSearch(ADir);
      CodeSite.Send('NACH Suche');
    end);
  ThisTask.Start;
end;

procedure TForm1.btnStartCountClick(Sender: TObject);
begin
  CountFilesTask(Trim(edtDirectory.Text));
end;

Was haltet ihr davon? Könnte man das noch weiter optimieren?

[himitsu]

Bei jeder einzelnen Datei ein TThread.Synchronize ... da kann man das alles auch gleich im Hauptthread belassen, so oft wie der Code dort vorbeikommt. :stupid:

TDirectory.GetFiles (das mit einem Callback)

[p80286]

Oder man sendet eine Message. da nur ein Integer übergeben wird, würde sich das auch noch anbieten.

Gruß
K-H

[himitsu]

Für jede Datei eine Message .... quasi die selbe Ausführungsdauer


Man kann z.B. Verzeichnisweise sammeln, oder per GetTickCount nur alle nach jeweils frühestens x Sekunden/Millisekunden oder InterlockedIncrement / AtomicIncrement im Hintergrund zählen und über einen Timer alle x Sekunden anzeigen oder ....

z.B.:

Delphi-Quellcode:

Counter := 0;
for i := 0 to 10000 do begin
  Inc(Counter);
  Label1.Caption := IntToStr(Counter);
  Application.ProcessMessage;
end;

Delphi-Quellcode:

Counter := 0;
for i := 0 to 10000 do begin
  Inc(Counter);
  if i mot 1000 then begin
    Label1.Caption := IntToStr(Counter);
    Application.ProcessMessage;
  end;
end;

[Mavarik]

TThread.Queue für die Ausgabe & die Timer Idee

Und natürlich nicht nur einen Task nehmen...
Sondern direkt mal für jedes Unterverzeichnis einen
Und wenn Du schon durch läuft dann optional die Dateinamen in Listen speichern..
Oder eine Bestimmte Datei in allen Unterverzeichnissen suchen...

Am besten eine Factory mit übergeben, was im Dir gemacht werden soll...

Mavarik

[himitsu]

Bei einer "meschanischen" Festplatte wird es mittels mehrerer Threads nur langsamer. :stupid:

[Mavarik]

Zitat:

Zitat von himitsu (Beitrag 1294530)

Bei einer "meschanischen" Festplatte wird es mittels mehrerer Threads nur langsamer. :stupid:

Willkommen in der Steinzeit!

Abgesehen davon NEIN! Das kannst Du nicht so pauschal sagen... Nur wenn der Kopf wild über die Platte Seeken muss...

Wenn aber z.B. 5 Dir's auf der gleichen Spur sind, kann Windows mit einer Festplattenumdrehung parallel lesen...

ggf. ist das Dir auch im Cache!

[himitsu]

Die Chanche, daß zur selben Zeit die Verzeichnisse auf der selben Spur liegen, ist extrem gering.
Dazumal sind auch "größere" Verzeichnisse schnell mal fragmentiert und liegen dann nichtmal selber auf einer Spur.

Auch SSDs sind nicht unbedingt schneller, wenn man parallel arbeitet, gegenüber der sequentiellen Bearbeitung.
Wenn man noch etwas beim Auslesen/Suchen machen würde, das in jedem Thread zusätzlich parallel läuft, aber natürlich nur in CPU/RAM, dann kann man schon was mit Threads machen.


Am Schnellsten ginge es z.B. direkt über die MFT (NTFS).

[p80286]

Zitat:

Zitat von himitsu (Beitrag 1294528)

Für jede Datei eine Message .... quasi die selbe Ausführungsdauer

wer macht den sowas

Delphi-Quellcode:

if cnt and $0F = 0 then ....

und wenn man durch ist, auch noch eine Message mit dem Endstand.

Was die Performance angeht, mal ist's schneller, mal langsamer (Harddisk und NetzLaufwerke).
Die Aufteilung bringt auf jeden Fall etwas (nach meinen Erfahrungen) wenn man parallel auf phys. unterschiedliche Laufwerke zugreift.

Gruß
K-H

[PeterPanino]

Getestet: Wenn ich das Synchronize raus nehme, ist meine Routine bei 2 Millionen Dateien um über 20% schneller als TDirectory.GetFiles. (Cachung berücksichtigt, Durchschnittswert bei mehreren Suchen): 2 Millionen Dateien in 33 Sekunden.

[Mavarik]

Zitat:

Zitat von himitsu (Beitrag 1294534)

Die Chanche, daß zur selben Zeit die Verzeichnisse auf der selben Spur liegen, ist extrem gering.

Nöö...

Nur im klassischen alter PC Window98 MFM Festplatte... Da magst Du recht habe... Auch das wäre zu testen...

Mein Windows läuft in der VM... Ein großer Teil davon ist im RAM des Hosts...
Alle Dirs sind in einer Datei...

Und schon hast Du andere Bedingungen...

SSD mit 8GB Cache Controller... da ist noch mehr im RAM...

Aber wir können ja mal ein Test machen...

[Mavarik]

Zitat:

Zitat von PeterPanino (Beitrag 1294536)

Getestet: Wenn ich das Synchronize raus nehme, ist meine Routine bei 2 Millionen Dateien um über 20% schneller als TDirectory.GetFiles. (Cachung berücksichtigt, Durchschnittswert bei mehreren Suchen).

Weil GetFiles noch alle Dateinamen usw. holt?

[PeterPanino]

Zitat:

Zitat von Mavarik (Beitrag 1294538)

Zitat:

Zitat von PeterPanino (Beitrag 1294536)

Getestet: Wenn ich das Synchronize raus nehme, ist meine Routine bei 2 Millionen Dateien um über 20% schneller als TDirectory.GetFiles. (Cachung berücksichtigt, Durchschnittswert bei mehreren Suchen).

Weil GetFiles noch alle Dateinamen usw. holt?

Natürlich.

[himitsu]

Es hat zumindestens den Vorteil, daß man Schleife und Rekursion nicht selber zusammenbauen muß. (auch wenn es teilweise echt besch* gebaut ist)

[PeterPanino]

Zitat:

Zitat von Mavarik (Beitrag 1294537)

Mein Windows läuft in der VM... Ein großer Teil davon ist im RAM des Hosts... Alle Dirs sind in einer Datei...

Hast du eine 32-Kern Linux-Maschine mit 128 GB RAM? Poste doch bitte mal deine Konfig.

Was wäre so die OPTIMALE VM-Konfiguration?

[Mavarik]

Zitat:

Zitat von PeterPanino (Beitrag 1294542)

Zitat:

Zitat von Mavarik (Beitrag 1294537)

Mein Windows läuft in der VM... Ein großer Teil davon ist im RAM des Hosts... Alle Dirs sind in einer Datei...

Hast du eine 32-Kern Linux-Maschine mit 128 GB RAM? Poste doch bitte mal deine Konfig.

Was wäre so die OPTIMALE VM-Konfiguration?

Nöö I7 32GB Windows 8

Also...

18,5 Mio Dateien in der VM C:\ Deine Routine zwischen 20-22 Sekunden...

28-30% CPU Last auf 4 Cores...

Meine Routine N Task's 90% CPU Last 6.5 - 7.2 Sekunden...

Außerhalb der VM (12 Kerne)

Deine Routine 32 Sekunden!
Meine Routine 2,9 Sekunden!

Hochgerechnet auf 18. Mio da ich da nicht so viele Dateien habe...
Wo bei das schon in den Bereich des Messfehlers fällt da schneller als eine halbe Sekunde! 450-550 ms für 336337 Dateien

Das geht jedoch so schnell, dass die Anzeige der Kerne gar keine Zeit hat auf 100% zu springen... :-)

Mavarik

[Sir Rufo]

Ist der i6 eigentlich ein gepimpter i5 oder ein kastrierter i7? :stupid:

[Mavarik]

Zitat:

Zitat von Sir Rufo (Beitrag 1294563)

Ist der i6 eigentlich ein gepimter i5 oder ein kastrierter i7? :stupid:

:stupid: M6 Syndrom