TObjectList-Einträge auf meherere Threads aufteilen

[jaenicke]

Zitat:

Zitat von DieDolly (Beitrag 1481175)

In meinem Fall also?

Delphi-Quellcode:

TParallel.For(MainProcessFileList_ObjectList.Count div MaxThreadCount, 1, MainProcessFileList_ObjectList.Count,
 procedure(Index: Integer)
  begin
   // Bearbeite Listeneintrag[Index]
  end);

Das geht so, aber dann musst du Listeneintrag[Index - 1] bearbeiten, denn schließlich zählt die Schleife ja von 1 los. Deshalb solltest du die lieber bei 0 loslaufen lassen und bis Count - 1 laufen lassen wie es üblich ist. Ansonsten stimmt das, ja.

Zitat:

Zitat von DieDolly (Beitrag 1481189)

Das Execute ist egal und tut nichts zur Sache. Den Code davon ändere ich ohnehin nicht.

Wenn dort dann die Dateien von der Festplatte gelesen werden, wird die Aufteilung in Threads das ganze eben wie gesagt eher langsamer machen, es sei denn die Verarbeitung dauert deutlich länger als das Lesen von der Festplatte. Das ist aber oft gar nicht so.

[DieDolly]

Ich habe das TFor.Parallel noch immer nicht richtig verstanden.

Wenn ich 20 Dateien habe und 2 Threads daraus machen möchte, wie genau zählt Schleife 1 und wie Schleife 2?
Fängt Schleife 1 an zu zählen bei Index 0 an bis 9 und Schleife bei 10 von 19 ?
Weil ich brauche in irgendeiner Art und Weise eine Schleifenvariable die ich in jeder dieser For-Dinger nutzen kann. Ich muss wissen wann "0" ist.

Bei 0 erstelle ich eine temporäre ObjectList. Bei Index = MaxForFürDiesenDurchgang erzeuge ich den Thread.


Eine andere Idee. Jetzt gerade ist es so, dass Unit A die ObjectList in mehrere aufteilt und daraus Daten für Unit B (ein Thread) baut.
1000 Dateien, 8 Threads sollen gebaut werden, jeder Thread 125 Dateien.

Wenn ich das mit der neuen Herangehensweise mache, gäbe es nur noch EINEN Thread, der intern TParallel.For nutzt. Die Aufteilung und Verwaltung macht dann also TParallel.For.

Hat das irgendwelche Vorteile?

[Uwe Raabe]

Zitat:

Zitat von DieDolly (Beitrag 1481196)

Ich habe das TFor.Parallel noch immer nicht richtig verstanden.

Wenn ich 20 Dateien habe und 2 Threads daraus machen möchte, wie genau zählt Schleife 1 und wie Schleife 2?
Fängt Schleife 1 an zu zählen bei Index 0 an bis 9 und Schleife bei 10 von 19 ?
Weil ich brauche in irgendeiner Art und Weise eine Schleifenvariable die ich in jeder dieser For-Dinger nutzen kann. Ich muss wissen wann "0" ist.

Bei 0 erstelle ich eine temporäre ObjectList. Bei Index = MaxForFürDiesenDurchgang erzeuge ich den Thread.

Lös dich doch mal von deinem Thread, der mehrere Einträge aus einer temporären Liste bearbeitet.
Das TParallel.For behandelt alle Listeneinträge von 0 bis Count - 1 (Danke Sebastian), wobei die Arbeit an einem Eintrag innerhalb der anonymen Methode erfolgt.

Stell dir das erstmal wie bei einer ganz normalen Schleife vor:

Delphi-Quellcode:

for I := 0 to MainProcessFileList_ObjectList.Count - 1 do
begin
  { Tue was mit MainProcessFileList_ObjectList[I] }
end;

Willst du das parallel mit 8 Threads erledigen, schreibst du das so:

Delphi-Quellcode:

MaxThreadCount := 8;
FilesPerThread := MainProcessFileList_ObjectList.Count div MaxThreadCount;
TParallel.For(FilesPerThread, 0, MainProcessFileList_ObjectList.Count - 1,
  procedure(Index: Integer)
  begin
    { Tue was mit MainProcessFileList_ObjectList[Index] }
  end);

Das

Delphi-Quellcode:

{ Tue was mit MainProcessFileList_ObjectList[I] }

versteckt sich aktuell noch irgendwo in der Execute Methode deines Threads. Insofern ist das eben nicht egal. Vielleicht passiert innerhalb dieser Methode ja auch etwas, dass diesen Ansatz unmöglich macht oder eine Änderung dessen erfordert, aber das wissen wir nicht.

[DieDolly]

Im Execute meines Threads passiert davor und danach eine ganze Menge. Vor- und Nachbereitungen von Daten. I/O-mäßig passiert da sonst nix mehr.

Kann ich das TParallel.For auch IN den Thread verlagern? Weil mit dem TParallel.For im Hauptthread wird die GUI sonst geblockt.
Dafür wären nur wenige Änderungen notwendig und diesen Code der in temporäre Listen auslagert könnte ich komplett löschen.

[jaenicke]

Zitat:

Zitat von DieDolly (Beitrag 1481201)

Kann ich das TParallel.For auch IN den Thread verlagern? Weil mit dem TParallel.For im Hauptthread wird die GUI sonst geblockt.

Ja, sicher. TParallel.For ist genau dafür da, dass du die Arbeit der Schleife auf Threads aufteilst, aber danach das Ergebnis dann synchron weiterverarbeiten kannst. Der aufrufende Thread ist daher in der Tat blockiert.

[DieDolly]

Die Idee mit, das TParallel.For ins Execute auszulagern kam, weil TiGü nach dem Execute gefragt hat.

Ich habe das zum Testen mal ausgelagert.
11 Dateien ergibt

Zitat:

Threads: 4 (meine Vorgabe)
Files per thread: 2 (FFileList.Count div 4)
FFileList.Count: 11 (FFileList.Count)

Delphi-Quellcode:

TParallel.For(FFileList.Count div 4, 1, FFileList.Count - 1,

10 Dateien werden verarbeitet, die 11. leider nicht. Gibt es hier einen Trick, dass TParallel.For im letzten Durchgang den "Rest" mitnimmt, der bei der Rechnung nicht aufgeht?

Ist egal ich bin dumm!
Die Zählung muss natürlich bei 0 beginnen, nicht bei 1.

Danke an alle. Ich habe jetzt eine Mischung aus allen Vorschlägen.

[generic]

Zitat:

Zitat von DieDolly (Beitrag 1481161)

Ich habe eine TObjectList die eine Dateiliste repräsentiert.
Wie stellt man das am besten an? Ich meine nicht rechnerisch sondern das Erstellen der Threads, ohne temporäre Zwischenlisten.

TObjectList ist nicht threadsafe, daher Vorsicht walten lassen!

Du machst dir schon vorher Gedanken über die Lastverteilung.

Wenn du die Aufgaben (Dateien) in eine Blocking Collection packst,
dann können die Threads sich selbst bedienen, je nachdem ob einer mal schneller oder langsamer ist.
Du kannst auch Threads abhängig von der CPU erstellen (lassen) - also nicht gleich auf x festlegen.








___
von 0 auf 100 - Omni Thread Lib (OTL) - Multithreading einfach in Delphi
https://www.youtube.com/watch?v=OBBjqxxw31Y

[jaenicke]

Zitat:

Zitat von generic (Beitrag 1481304)

TObjectList ist nicht threadsafe, daher Vorsicht walten lassen!

Solange man sie nur einmal befüllt und die Threads nur lesend darauf zugreifen, sehe ich im Quelltext nichts, das dabei Probleme machen würde.

[Uwe Raabe]

Zitat:

Zitat von jaenicke (Beitrag 1481307)

Solange man sie nur einmal befüllt und die Threads nur lesend darauf zugreifen, sehe ich im Quelltext nichts, das dabei Probleme machen würde.

Nur solange das Befüllen beendet ist sobald das Lesen los geht. Beim Add könnte das implementierende Array der Liste neu zugewiesen werden. Das ohne Synchronisation durchzuführen wäre mir zu heikel. Selbst wenn das aktuell safe ist, könnte sich die Implementierung in Zukunft ja ändern.

[DieDolly]

Zitat:

Solange man sie nur einmal befüllt und die Threads nur lesend darauf zugreifen, sehe ich im Quelltext nichts, das dabei Probleme machen würde.

Zitat:

Nur solange das Befüllen beendet

Ich befülle die ObjectList aus dem Main-Thread heraus.
Erst dann erzeuge ich einen Thread, der mit der ObjectList (lesend) arbeitet.