AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Algorithmen, Datenstrukturen und Klassendesign TObjectList-Einträge auf meherere Threads aufteilen
Thema durchsuchen
Ansicht
Themen-Optionen

TObjectList-Einträge auf meherere Threads aufteilen

Ein Thema von DieDolly · begonnen am 19. Jan 2021 · letzter Beitrag vom 22. Jan 2021
Antwort Antwort
Benutzerbild von jaenicke
jaenicke

Registriert seit: 10. Jun 2003
Ort: Berlin
10.071 Beiträge
 
Delphi 12 Athens
 
#1

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 13:02
In meinem Fall also?
Delphi-Quellcode:
TParallel.For(MainProcessFileList_ObjectList.Count div MaxThreadCount, 1, MainProcessFileList_ObjectList.Count,
 procedure(Index: Integer)
  begin
   // Bearbeite Listeneintrag[Index]
  end);
Das geht so, aber dann musst du Listeneintrag[Index - 1] bearbeiten, denn schließlich zählt die Schleife ja von 1 los. Deshalb solltest du die lieber bei 0 loslaufen lassen und bis Count - 1 laufen lassen wie es üblich ist. Ansonsten stimmt das, ja.

Das Execute ist egal und tut nichts zur Sache. Den Code davon ändere ich ohnehin nicht.
Wenn dort dann die Dateien von der Festplatte gelesen werden, wird die Aufteilung in Threads das ganze eben wie gesagt eher langsamer machen, es sei denn die Verarbeitung dauert deutlich länger als das Lesen von der Festplatte. Das ist aber oft gar nicht so.
Sebastian Jänicke
AppCentral
  Mit Zitat antworten Zitat
DieDolly

Registriert seit: 22. Jun 2018
2.175 Beiträge
 
#2

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 13:08
Ich habe das TFor.Parallel noch immer nicht richtig verstanden.

Wenn ich 20 Dateien habe und 2 Threads daraus machen möchte, wie genau zählt Schleife 1 und wie Schleife 2?
Fängt Schleife 1 an zu zählen bei Index 0 an bis 9 und Schleife bei 10 von 19 ?
Weil ich brauche in irgendeiner Art und Weise eine Schleifenvariable die ich in jeder dieser For-Dinger nutzen kann. Ich muss wissen wann "0" ist.

Bei 0 erstelle ich eine temporäre ObjectList. Bei Index = MaxForFürDiesenDurchgang erzeuge ich den Thread.


Eine andere Idee. Jetzt gerade ist es so, dass Unit A die ObjectList in mehrere aufteilt und daraus Daten für Unit B (ein Thread) baut.
1000 Dateien, 8 Threads sollen gebaut werden, jeder Thread 125 Dateien.

Wenn ich das mit der neuen Herangehensweise mache, gäbe es nur noch EINEN Thread, der intern TParallel.For nutzt. Die Aufteilung und Verwaltung macht dann also TParallel.For.

Hat das irgendwelche Vorteile?

Geändert von DieDolly (19. Jan 2021 um 13:20 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von Uwe Raabe
Uwe Raabe

Registriert seit: 20. Jan 2006
Ort: Lübbecke
11.782 Beiträge
 
Delphi 12 Athens
 
#3

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 13:24
Ich habe das TFor.Parallel noch immer nicht richtig verstanden.

Wenn ich 20 Dateien habe und 2 Threads daraus machen möchte, wie genau zählt Schleife 1 und wie Schleife 2?
Fängt Schleife 1 an zu zählen bei Index 0 an bis 9 und Schleife bei 10 von 19 ?
Weil ich brauche in irgendeiner Art und Weise eine Schleifenvariable die ich in jeder dieser For-Dinger nutzen kann. Ich muss wissen wann "0" ist.

Bei 0 erstelle ich eine temporäre ObjectList. Bei Index = MaxForFürDiesenDurchgang erzeuge ich den Thread.
Lös dich doch mal von deinem Thread, der mehrere Einträge aus einer temporären Liste bearbeitet.
Das TParallel.For behandelt alle Listeneinträge von 0 bis Count - 1 (Danke Sebastian), wobei die Arbeit an einem Eintrag innerhalb der anonymen Methode erfolgt.

Stell dir das erstmal wie bei einer ganz normalen Schleife vor:
Delphi-Quellcode:
for I := 0 to MainProcessFileList_ObjectList.Count - 1 do
begin
  { Tue was mit MainProcessFileList_ObjectList[I] }
end;
Willst du das parallel mit 8 Threads erledigen, schreibst du das so:
Delphi-Quellcode:
MaxThreadCount := 8;
FilesPerThread := MainProcessFileList_ObjectList.Count div MaxThreadCount;
TParallel.For(FilesPerThread, 0, MainProcessFileList_ObjectList.Count - 1,
  procedure(Index: Integer)
  begin
    { Tue was mit MainProcessFileList_ObjectList[Index] }
  end);
Das { Tue was mit MainProcessFileList_ObjectList[I] } versteckt sich aktuell noch irgendwo in der Execute Methode deines Threads. Insofern ist das eben nicht egal. Vielleicht passiert innerhalb dieser Methode ja auch etwas, dass diesen Ansatz unmöglich macht oder eine Änderung dessen erfordert, aber das wissen wir nicht.
Uwe Raabe
Certified Delphi Master Developer
Embarcadero MVP
Blog: The Art of Delphi Programming
  Mit Zitat antworten Zitat
DieDolly

Registriert seit: 22. Jun 2018
2.175 Beiträge
 
#4

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 13:41
Im Execute meines Threads passiert davor und danach eine ganze Menge. Vor- und Nachbereitungen von Daten. I/O-mäßig passiert da sonst nix mehr.

Kann ich das TParallel.For auch IN den Thread verlagern? Weil mit dem TParallel.For im Hauptthread wird die GUI sonst geblockt.
Dafür wären nur wenige Änderungen notwendig und diesen Code der in temporäre Listen auslagert könnte ich komplett löschen.

Geändert von DieDolly (19. Jan 2021 um 13:43 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von jaenicke
jaenicke

Registriert seit: 10. Jun 2003
Ort: Berlin
10.071 Beiträge
 
Delphi 12 Athens
 
#5

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 13:58
Kann ich das TParallel.For auch IN den Thread verlagern? Weil mit dem TParallel.For im Hauptthread wird die GUI sonst geblockt.
Ja, sicher. TParallel.For ist genau dafür da, dass du die Arbeit der Schleife auf Threads aufteilst, aber danach das Ergebnis dann synchron weiterverarbeiten kannst. Der aufrufende Thread ist daher in der Tat blockiert.
Sebastian Jänicke
AppCentral
  Mit Zitat antworten Zitat
DieDolly

Registriert seit: 22. Jun 2018
2.175 Beiträge
 
#6

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 14:26
Die Idee mit, das TParallel.For ins Execute auszulagern kam, weil TiGü nach dem Execute gefragt hat.

Ich habe das zum Testen mal ausgelagert.
11 Dateien ergibt
Zitat:
Threads: 4 (meine Vorgabe)
Files per thread: 2 (FFileList.Count div 4)
FFileList.Count: 11 (FFileList.Count)
TParallel.For(FFileList.Count div 4, 1, FFileList.Count - 1,
10 Dateien werden verarbeitet, die 11. leider nicht. Gibt es hier einen Trick, dass TParallel.For im letzten Durchgang den "Rest" mitnimmt, der bei der Rechnung nicht aufgeht?

Ist egal ich bin dumm!
Die Zählung muss natürlich bei 0 beginnen, nicht bei 1.

Danke an alle. Ich habe jetzt eine Mischung aus allen Vorschlägen.

Geändert von DieDolly (19. Jan 2021 um 16:24 Uhr)
  Mit Zitat antworten Zitat
Antwort Antwort


Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 17:12 Uhr.
Powered by vBulletin® Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024-2025 by Thomas Breitkreuz