AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Programmieren allgemein Delphi Dateien in einem Ordner rekursiv in parallelem Task zählen

Dateien in einem Ordner rekursiv in parallelem Task zählen

Ein Thema von PeterPanino · begonnen am 23. Mär 2015 · letzter Beitrag vom 23. Mär 2015
Antwort Antwort
Seite 2 von 2     12
Benutzerbild von Mavarik
Mavarik

Registriert seit: 9. Feb 2006
Ort: Stolberg (Rhld)
4.144 Beiträge
 
Delphi 10.3 Rio
 
#11

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:45
Die Chanche, daß zur selben Zeit die Verzeichnisse auf der selben Spur liegen, ist extrem gering.
Nöö...

Nur im klassischen alter PC Window98 MFM Festplatte... Da magst Du recht habe... Auch das wäre zu testen...

Mein Windows läuft in der VM... Ein großer Teil davon ist im RAM des Hosts...
Alle Dirs sind in einer Datei...

Und schon hast Du andere Bedingungen...

SSD mit 8GB Cache Controller... da ist noch mehr im RAM...

Aber wir können ja mal ein Test machen...
  Mit Zitat antworten Zitat
Benutzerbild von Mavarik
Mavarik

Registriert seit: 9. Feb 2006
Ort: Stolberg (Rhld)
4.144 Beiträge
 
Delphi 10.3 Rio
 
#12

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:47
Getestet: Wenn ich das Synchronize raus nehme, ist meine Routine bei 2 Millionen Dateien um über 20% schneller als TDirectory.GetFiles. (Cachung berücksichtigt, Durchschnittswert bei mehreren Suchen).
Weil GetFiles noch alle Dateinamen usw. holt?
  Mit Zitat antworten Zitat
PeterPanino

Registriert seit: 4. Sep 2004
1.465 Beiträge
 
Delphi 10.4 Sydney
 
#13

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:55
Getestet: Wenn ich das Synchronize raus nehme, ist meine Routine bei 2 Millionen Dateien um über 20% schneller als TDirectory.GetFiles. (Cachung berücksichtigt, Durchschnittswert bei mehreren Suchen).
Weil GetFiles noch alle Dateinamen usw. holt?
Natürlich.
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
44.145 Beiträge
 
Delphi 12 Athens
 
#14

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 16:58
Es hat zumindestens den Vorteil, daß man Schleife und Rekursion nicht selber zusammenbauen muß. (auch wenn es teilweise echt besch* gebaut ist)
Neuste Erkenntnis:
Seit Pos einen dritten Parameter hat,
wird PosEx im Delphi viel seltener praktiziert.
  Mit Zitat antworten Zitat
PeterPanino

Registriert seit: 4. Sep 2004
1.465 Beiträge
 
Delphi 10.4 Sydney
 
#15

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 17:05
Mein Windows läuft in der VM... Ein großer Teil davon ist im RAM des Hosts... Alle Dirs sind in einer Datei...
Hast du eine 32-Kern Linux-Maschine mit 128 GB RAM? Poste doch bitte mal deine Konfig.

Was wäre so die OPTIMALE VM-Konfiguration?
  Mit Zitat antworten Zitat
Benutzerbild von Mavarik
Mavarik

Registriert seit: 9. Feb 2006
Ort: Stolberg (Rhld)
4.144 Beiträge
 
Delphi 10.3 Rio
 
#16

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 17:41
Mein Windows läuft in der VM... Ein großer Teil davon ist im RAM des Hosts... Alle Dirs sind in einer Datei...
Hast du eine 32-Kern Linux-Maschine mit 128 GB RAM? Poste doch bitte mal deine Konfig.

Was wäre so die OPTIMALE VM-Konfiguration?
Nöö I7 32GB Windows 8

Also...

18,5 Mio Dateien in der VM C:\ Deine Routine zwischen 20-22 Sekunden...

28-30% CPU Last auf 4 Cores...

Meine Routine N Task's 90% CPU Last 6.5 - 7.2 Sekunden...

Außerhalb der VM (12 Kerne)

Deine Routine 32 Sekunden!
Meine Routine 2,9 Sekunden!

Hochgerechnet auf 18. Mio da ich da nicht so viele Dateien habe...
Wo bei das schon in den Bereich des Messfehlers fällt da schneller als eine halbe Sekunde! 450-550 ms für 336337 Dateien

Das geht jedoch so schnell, dass die Anzeige der Kerne gar keine Zeit hat auf 100% zu springen...

Mavarik

Geändert von Mavarik (23. Mär 2015 um 22:07 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von Sir Rufo
Sir Rufo

Registriert seit: 5. Jan 2005
Ort: Stadthagen
9.454 Beiträge
 
Delphi 10 Seattle Enterprise
 
#17

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 20:05
Ist der i6 eigentlich ein gepimpter i5 oder ein kastrierter i7?
Kaum macht man's richtig - schon funktioniert's
Zertifikat: Sir Rufo (Fingerprint: ‎ea 0a 4c 14 0d b6 3a a4 c1 c5 b9 dc 90 9d f0 e9 de 13 da 60)

Geändert von Sir Rufo (23. Mär 2015 um 22:49 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von Mavarik
Mavarik

Registriert seit: 9. Feb 2006
Ort: Stolberg (Rhld)
4.144 Beiträge
 
Delphi 10.3 Rio
 
#18

AW: Dateien in einem Ordner rekursiv in parallelem Task zählen

  Alt 23. Mär 2015, 22:07
Ist der i6 eigentlich ein gepimter i5 oder ein kastrierter i7?
M6 Syndrom
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 22:06 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz