AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Programmieren allgemein Delphi Dateien in einem Ordner rekursiv in parallelem Task zählen

Dateien in einem Ordner rekursiv in parallelem Task zählen

Ein Thema von PeterPanino · begonnen am 23. Mär 2015 · letzter Beitrag vom 23. Mär 2015
Antwort Antwort
Seite 1 von 2  1 2   
PeterPanino

Registriert seit: 4. Sep 2004
1.465 Beiträge
 
Delphi 10.4 Sydney
 
#1

Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:03
Hallo!

Ich habe mir eine Routine geschrieben, die rekursiv die in einem Ordner enthaltenen Dateien in einem parallelen Task zählt:
Delphi-Quellcode:
uses
  System.Threading;

procedure TForm1.CountFilesTask(const ADir: string);
var
  ThisTask: ITask;
begin
  ThisTask := TTask.Create(
    procedure()
    var
      count: Integer;

      procedure FileSearch(const ThisDir: string);
      var
        SR: TSearchRec;
      begin
        if FindFirst(IncludeTrailingPathDelimiter(ThisDir) + '*', faAnyFile, SR) = 0 then
        begin
          try
            repeat
              if (SR.Attr and faDirectory) = 0 then
              begin
                Inc(Count);
                TThread.Synchronize(nil,
                  procedure
                  begin
                    lblShowFilesCount.Caption := IntToStr(count) + ' files';
                  end);
              end
              else if (SR.Name <> '.') and (SR.Name <> '..') then
              begin
                FileSearch(IncludeTrailingPathDelimiter(ThisDir) + SR.Name);
              end;
            until FindNext(SR) <> 0;
          finally
            FindClose(SR);
          end;
        end;
      end;

    begin
      CodeSite.Send('VOR Suche');
      FileSearch(ADir);
      CodeSite.Send('NACH Suche');
    end);
  ThisTask.Start;
end;

procedure TForm1.btnStartCountClick(Sender: TObject);
begin
  CountFilesTask(Trim(edtDirectory.Text));
end;
Was haltet ihr davon? Könnte man das noch weiter optimieren?

Geändert von PeterPanino (23. Mär 2015 um 16:06 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
44.125 Beiträge
 
Delphi 12 Athens
 
#2

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:09
Bei jeder einzelnen Datei ein TThread.Synchronize ... da kann man das alles auch gleich im Hauptthread belassen, so oft wie der Code dort vorbeikommt.

Delphi-Referenz durchsuchenTDirectory.GetFiles (das mit einem Callback)
Neuste Erkenntnis:
Seit Pos einen dritten Parameter hat,
wird PosEx im Delphi viel seltener praktiziert.
  Mit Zitat antworten Zitat
Benutzerbild von p80286
p80286

Registriert seit: 28. Apr 2008
Ort: Stolberg (Rhl)
6.659 Beiträge
 
FreePascal / Lazarus
 
#3

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:19
Oder man sendet eine Message. da nur ein Integer übergeben wird, würde sich das auch noch anbieten.

Gruß
K-H
Programme gehorchen nicht Deinen Absichten sondern Deinen Anweisungen
R.E.D retired error detector
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
44.125 Beiträge
 
Delphi 12 Athens
 
#4

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:25
Für jede Datei eine Message .... quasi die selbe Ausführungsdauer


Man kann z.B. Verzeichnisweise sammeln, oder per GetTickCount nur alle nach jeweils frühestens x Sekunden/Millisekunden oder MSDN-Library durchsuchenInterlockedIncrement / Delphi-Referenz durchsuchenAtomicIncrement im Hintergrund zählen und über einen Timer alle x Sekunden anzeigen oder ....

z.B.:
Delphi-Quellcode:
Counter := 0;
for i := 0 to 10000 do begin
  Inc(Counter);
  Label1.Caption := IntToStr(Counter);
  Application.ProcessMessage;
end;
Delphi-Quellcode:
Counter := 0;
for i := 0 to 10000 do begin
  Inc(Counter);
  if i mot 1000 then begin
    Label1.Caption := IntToStr(Counter);
    Application.ProcessMessage;
  end;
end;
Neuste Erkenntnis:
Seit Pos einen dritten Parameter hat,
wird PosEx im Delphi viel seltener praktiziert.
  Mit Zitat antworten Zitat
Benutzerbild von Mavarik
Mavarik

Registriert seit: 9. Feb 2006
Ort: Stolberg (Rhld)
4.144 Beiträge
 
Delphi 10.3 Rio
 
#5

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:26
TThread.Queue für die Ausgabe & die Timer Idee

Und natürlich nicht nur einen Task nehmen...
Sondern direkt mal für jedes Unterverzeichnis einen
Und wenn Du schon durch läuft dann optional die Dateinamen in Listen speichern..
Oder eine Bestimmte Datei in allen Unterverzeichnissen suchen...

Am besten eine Factory mit übergeben, was im Dir gemacht werden soll...

Mavarik
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
44.125 Beiträge
 
Delphi 12 Athens
 
#6

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:28
Bei einer "meschanischen" Festplatte wird es mittels mehrerer Threads nur langsamer.
Neuste Erkenntnis:
Seit Pos einen dritten Parameter hat,
wird PosEx im Delphi viel seltener praktiziert.
  Mit Zitat antworten Zitat
Benutzerbild von Mavarik
Mavarik

Registriert seit: 9. Feb 2006
Ort: Stolberg (Rhld)
4.144 Beiträge
 
Delphi 10.3 Rio
 
#7

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:31
Bei einer "meschanischen" Festplatte wird es mittels mehrerer Threads nur langsamer.
Willkommen in der Steinzeit!

Abgesehen davon NEIN! Das kannst Du nicht so pauschal sagen... Nur wenn der Kopf wild über die Platte Seeken muss...

Wenn aber z.B. 5 Dir's auf der gleichen Spur sind, kann Windows mit einer Festplattenumdrehung parallel lesen...

ggf. ist das Dir auch im Cache!

Geändert von Mavarik (23. Mär 2015 um 16:35 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
44.125 Beiträge
 
Delphi 12 Athens
 
#8

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:38
Die Chanche, daß zur selben Zeit die Verzeichnisse auf der selben Spur liegen, ist extrem gering.
Dazumal sind auch "größere" Verzeichnisse schnell mal fragmentiert und liegen dann nichtmal selber auf einer Spur.

Auch SSDs sind nicht unbedingt schneller, wenn man parallel arbeitet, gegenüber der sequentiellen Bearbeitung.
Wenn man noch etwas beim Auslesen/Suchen machen würde, das in jedem Thread zusätzlich parallel läuft, aber natürlich nur in CPU/RAM, dann kann man schon was mit Threads machen.


Am Schnellsten ginge es z.B. direkt über die MFT (NTFS).
Neuste Erkenntnis:
Seit Pos einen dritten Parameter hat,
wird PosEx im Delphi viel seltener praktiziert.
  Mit Zitat antworten Zitat
Benutzerbild von p80286
p80286

Registriert seit: 28. Apr 2008
Ort: Stolberg (Rhl)
6.659 Beiträge
 
FreePascal / Lazarus
 
#9

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:43
Für jede Datei eine Message .... quasi die selbe Ausführungsdauer
wer macht den sowas
if cnt and $0F = 0 then .... und wenn man durch ist, auch noch eine Message mit dem Endstand.

Was die Performance angeht, mal ist's schneller, mal langsamer (Harddisk und NetzLaufwerke).
Die Aufteilung bringt auf jeden Fall etwas (nach meinen Erfahrungen) wenn man parallel auf phys. unterschiedliche Laufwerke zugreift.

Gruß
K-H
Programme gehorchen nicht Deinen Absichten sondern Deinen Anweisungen
R.E.D retired error detector
  Mit Zitat antworten Zitat
PeterPanino

Registriert seit: 4. Sep 2004
1.465 Beiträge
 
Delphi 10.4 Sydney
 
#10

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:44
Getestet: Wenn ich das Synchronize raus nehme, ist meine Routine bei 2 Millionen Dateien um über 20% schneller als TDirectory.GetFiles. (Cachung berücksichtigt, Durchschnittswert bei mehreren Suchen): 2 Millionen Dateien in 33 Sekunden.

Geändert von PeterPanino (23. Mär 2015 um 16:55 Uhr)
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 05:17 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz