AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Algorithmen, Datenstrukturen und Klassendesign TObjectList-Einträge auf meherere Threads aufteilen

TObjectList-Einträge auf meherere Threads aufteilen

Ein Thema von DieDolly · begonnen am 19. Jan 2021 · letzter Beitrag vom 22. Jan 2021
Antwort Antwort
Seite 2 von 3     12 3   
Benutzerbild von jaenicke
jaenicke

Registriert seit: 10. Jun 2003
Ort: Berlin
9.287 Beiträge
 
Delphi 11 Alexandria
 
#11

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 14:02
In meinem Fall also?
Delphi-Quellcode:
TParallel.For(MainProcessFileList_ObjectList.Count div MaxThreadCount, 1, MainProcessFileList_ObjectList.Count,
 procedure(Index: Integer)
  begin
   // Bearbeite Listeneintrag[Index]
  end);
Das geht so, aber dann musst du Listeneintrag[Index - 1] bearbeiten, denn schließlich zählt die Schleife ja von 1 los. Deshalb solltest du die lieber bei 0 loslaufen lassen und bis Count - 1 laufen lassen wie es üblich ist. Ansonsten stimmt das, ja.

Das Execute ist egal und tut nichts zur Sache. Den Code davon ändere ich ohnehin nicht.
Wenn dort dann die Dateien von der Festplatte gelesen werden, wird die Aufteilung in Threads das ganze eben wie gesagt eher langsamer machen, es sei denn die Verarbeitung dauert deutlich länger als das Lesen von der Festplatte. Das ist aber oft gar nicht so.
Sebastian Jänicke
Alle eigenen Projekte sind eingestellt, ebenso meine Homepage, Downloadlinks usw. im Forum bleiben aktiv!
  Mit Zitat antworten Zitat
DieDolly

Registriert seit: 22. Jun 2018
2.173 Beiträge
 
#12

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 14:08
Ich habe das TFor.Parallel noch immer nicht richtig verstanden.

Wenn ich 20 Dateien habe und 2 Threads daraus machen möchte, wie genau zählt Schleife 1 und wie Schleife 2?
Fängt Schleife 1 an zu zählen bei Index 0 an bis 9 und Schleife bei 10 von 19 ?
Weil ich brauche in irgendeiner Art und Weise eine Schleifenvariable die ich in jeder dieser For-Dinger nutzen kann. Ich muss wissen wann "0" ist.

Bei 0 erstelle ich eine temporäre ObjectList. Bei Index = MaxForFürDiesenDurchgang erzeuge ich den Thread.


Eine andere Idee. Jetzt gerade ist es so, dass Unit A die ObjectList in mehrere aufteilt und daraus Daten für Unit B (ein Thread) baut.
1000 Dateien, 8 Threads sollen gebaut werden, jeder Thread 125 Dateien.

Wenn ich das mit der neuen Herangehensweise mache, gäbe es nur noch EINEN Thread, der intern TParallel.For nutzt. Die Aufteilung und Verwaltung macht dann also TParallel.For.

Hat das irgendwelche Vorteile?

Geändert von DieDolly (19. Jan 2021 um 14:20 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von Uwe Raabe
Uwe Raabe

Registriert seit: 20. Jan 2006
Ort: Lübbecke
10.934 Beiträge
 
Delphi 12 Athens
 
#13

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 14:24
Ich habe das TFor.Parallel noch immer nicht richtig verstanden.

Wenn ich 20 Dateien habe und 2 Threads daraus machen möchte, wie genau zählt Schleife 1 und wie Schleife 2?
Fängt Schleife 1 an zu zählen bei Index 0 an bis 9 und Schleife bei 10 von 19 ?
Weil ich brauche in irgendeiner Art und Weise eine Schleifenvariable die ich in jeder dieser For-Dinger nutzen kann. Ich muss wissen wann "0" ist.

Bei 0 erstelle ich eine temporäre ObjectList. Bei Index = MaxForFürDiesenDurchgang erzeuge ich den Thread.
Lös dich doch mal von deinem Thread, der mehrere Einträge aus einer temporären Liste bearbeitet.
Das TParallel.For behandelt alle Listeneinträge von 0 bis Count - 1 (Danke Sebastian), wobei die Arbeit an einem Eintrag innerhalb der anonymen Methode erfolgt.

Stell dir das erstmal wie bei einer ganz normalen Schleife vor:
Delphi-Quellcode:
for I := 0 to MainProcessFileList_ObjectList.Count - 1 do
begin
  { Tue was mit MainProcessFileList_ObjectList[I] }
end;
Willst du das parallel mit 8 Threads erledigen, schreibst du das so:
Delphi-Quellcode:
MaxThreadCount := 8;
FilesPerThread := MainProcessFileList_ObjectList.Count div MaxThreadCount;
TParallel.For(FilesPerThread, 0, MainProcessFileList_ObjectList.Count - 1,
  procedure(Index: Integer)
  begin
    { Tue was mit MainProcessFileList_ObjectList[Index] }
  end);
Das { Tue was mit MainProcessFileList_ObjectList[I] } versteckt sich aktuell noch irgendwo in der Execute Methode deines Threads. Insofern ist das eben nicht egal. Vielleicht passiert innerhalb dieser Methode ja auch etwas, dass diesen Ansatz unmöglich macht oder eine Änderung dessen erfordert, aber das wissen wir nicht.
Uwe Raabe
Certified Delphi Master Developer
Embarcadero MVP
Blog: The Art of Delphi Programming
  Mit Zitat antworten Zitat
DieDolly

Registriert seit: 22. Jun 2018
2.173 Beiträge
 
#14

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 14:41
Im Execute meines Threads passiert davor und danach eine ganze Menge. Vor- und Nachbereitungen von Daten. I/O-mäßig passiert da sonst nix mehr.

Kann ich das TParallel.For auch IN den Thread verlagern? Weil mit dem TParallel.For im Hauptthread wird die GUI sonst geblockt.
Dafür wären nur wenige Änderungen notwendig und diesen Code der in temporäre Listen auslagert könnte ich komplett löschen.

Geändert von DieDolly (19. Jan 2021 um 14:43 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von jaenicke
jaenicke

Registriert seit: 10. Jun 2003
Ort: Berlin
9.287 Beiträge
 
Delphi 11 Alexandria
 
#15

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 14:58
Kann ich das TParallel.For auch IN den Thread verlagern? Weil mit dem TParallel.For im Hauptthread wird die GUI sonst geblockt.
Ja, sicher. TParallel.For ist genau dafür da, dass du die Arbeit der Schleife auf Threads aufteilst, aber danach das Ergebnis dann synchron weiterverarbeiten kannst. Der aufrufende Thread ist daher in der Tat blockiert.
Sebastian Jänicke
Alle eigenen Projekte sind eingestellt, ebenso meine Homepage, Downloadlinks usw. im Forum bleiben aktiv!
  Mit Zitat antworten Zitat
DieDolly

Registriert seit: 22. Jun 2018
2.173 Beiträge
 
#16

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 15:26
Die Idee mit, das TParallel.For ins Execute auszulagern kam, weil TiGü nach dem Execute gefragt hat.

Ich habe das zum Testen mal ausgelagert.
11 Dateien ergibt
Zitat:
Threads: 4 (meine Vorgabe)
Files per thread: 2 (FFileList.Count div 4)
FFileList.Count: 11 (FFileList.Count)
TParallel.For(FFileList.Count div 4, 1, FFileList.Count - 1,
10 Dateien werden verarbeitet, die 11. leider nicht. Gibt es hier einen Trick, dass TParallel.For im letzten Durchgang den "Rest" mitnimmt, der bei der Rechnung nicht aufgeht?

Ist egal ich bin dumm!
Die Zählung muss natürlich bei 0 beginnen, nicht bei 1.

Danke an alle. Ich habe jetzt eine Mischung aus allen Vorschlägen.

Geändert von DieDolly (19. Jan 2021 um 17:24 Uhr)
  Mit Zitat antworten Zitat
generic

Registriert seit: 24. Mär 2004
Ort: bei Hannover
2.415 Beiträge
 
Delphi XE5 Professional
 
#17

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 20. Jan 2021, 20:36
Ich habe eine TObjectList die eine Dateiliste repräsentiert.
Wie stellt man das am besten an? Ich meine nicht rechnerisch sondern das Erstellen der Threads, ohne temporäre Zwischenlisten.
TObjectList ist nicht threadsafe, daher Vorsicht walten lassen!

Du machst dir schon vorher Gedanken über die Lastverteilung.

Wenn du die Aufgaben (Dateien) in eine Blocking Collection packst,
dann können die Threads sich selbst bedienen, je nachdem ob einer mal schneller oder langsamer ist.
Du kannst auch Threads abhängig von der CPU erstellen (lassen) - also nicht gleich auf x festlegen.








___
von 0 auf 100 - Omni Thread Lib (OTL) - Multithreading einfach in Delphi
https://www.youtube.com/watch?v=OBBjqxxw31Y
Coding BOTT - Video Tutorials rund um das Programmieren - https://www.youtube.com/@codingbott
  Mit Zitat antworten Zitat
Benutzerbild von jaenicke
jaenicke

Registriert seit: 10. Jun 2003
Ort: Berlin
9.287 Beiträge
 
Delphi 11 Alexandria
 
#18

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 20. Jan 2021, 21:09
TObjectList ist nicht threadsafe, daher Vorsicht walten lassen!
Solange man sie nur einmal befüllt und die Threads nur lesend darauf zugreifen, sehe ich im Quelltext nichts, das dabei Probleme machen würde.
Sebastian Jänicke
Alle eigenen Projekte sind eingestellt, ebenso meine Homepage, Downloadlinks usw. im Forum bleiben aktiv!
  Mit Zitat antworten Zitat
Benutzerbild von Uwe Raabe
Uwe Raabe

Registriert seit: 20. Jan 2006
Ort: Lübbecke
10.934 Beiträge
 
Delphi 12 Athens
 
#19

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 20. Jan 2021, 22:36
Solange man sie nur einmal befüllt und die Threads nur lesend darauf zugreifen, sehe ich im Quelltext nichts, das dabei Probleme machen würde.
Nur solange das Befüllen beendet ist sobald das Lesen los geht. Beim Add könnte das implementierende Array der Liste neu zugewiesen werden. Das ohne Synchronisation durchzuführen wäre mir zu heikel. Selbst wenn das aktuell safe ist, könnte sich die Implementierung in Zukunft ja ändern.
Uwe Raabe
Certified Delphi Master Developer
Embarcadero MVP
Blog: The Art of Delphi Programming
  Mit Zitat antworten Zitat
DieDolly

Registriert seit: 22. Jun 2018
2.173 Beiträge
 
#20

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 21. Jan 2021, 19:36
Zitat:
Solange man sie nur einmal befüllt und die Threads nur lesend darauf zugreifen, sehe ich im Quelltext nichts, das dabei Probleme machen würde.
Zitat:
Nur solange das Befüllen beendet
Ich befülle die ObjectList aus dem Main-Thread heraus.
Erst dann erzeuge ich einen Thread, der mit der ObjectList (lesend) arbeitet.
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 15:16 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz