AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Algorithmen, Datenstrukturen und Klassendesign TObjectList-Einträge auf meherere Threads aufteilen

TObjectList-Einträge auf meherere Threads aufteilen

Ein Thema von DieDolly · begonnen am 19. Jan 2021 · letzter Beitrag vom 22. Jan 2021
Antwort Antwort
Seite 1 von 3  1 23   
DieDolly

Registriert seit: 22. Jun 2018
1.913 Beiträge
 
#1

TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 10:10
Ich habe eine TObjectList die eine Dateiliste repräsentiert.
Ich möchte basierend auf dieser Liste gerne Threads erstellen.
Beispielzahlen: 1000 Dateien, 8 Threads. Jeder Thread verarbeitet 125 Dateien.
Wie stellt man das am besten an? Ich meine nicht rechnerisch sondern das Erstellen der Threads, ohne temporäre Zwischenlisten.

Edit:
es besteht schon eine Prozedur, der ich einfach nur eine Liste übergeben kann und diese Prozedur erzeugt dann daraus einen Thread.
Es geht hier nur darum, wie ich das mit der Aufteilung am besten anstelle.

Geändert von DieDolly (19. Jan 2021 um 11:30 Uhr)
  Mit Zitat antworten Zitat
Klaus01
Online

Registriert seit: 30. Nov 2005
Ort: München
5.623 Beiträge
 
Delphi 10.4 Sydney
 
#2

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 10:40
..anderer Ansatz.

- eine WorkerPool mit 8 Threads
- jeder Thread nimmt sich ein Object aus der ObjectListe
- wenn der Thread fertig ist, nimmt er sich das nächste Object.

Die Liste müsste dann für den Entnahmevorgang gesperrt werden.

Grüße
Klaus
Klaus
  Mit Zitat antworten Zitat
TiGü

Registriert seit: 6. Apr 2011
Ort: Berlin
2.836 Beiträge
 
Delphi 10.2 Tokyo Enterprise
 
#3

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 11:06
Mach mit Zwischenlisten und Datenübergabe beim Erstellen der Threads, alles andere macht nur unnötig Aufwand und Heckmeck.

Wobei Threads und "Dateiliste" schon wieder so ne Sache für sich ist.
Schreib- und Lesezugriffe sind ja am Ende durch die Hardware limitiert.
Da muss man ein paar Messungen machen, wo da der Tradeoff ist.
  Mit Zitat antworten Zitat
DieDolly

Registriert seit: 22. Jun 2018
1.913 Beiträge
 
#4

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 11:28
Zitat:
..anderer Ansatz.
Ich muss mein aktuelles System beibehalten, alles andere kostet zuviel Zeit die ich nicht habe.

Zitat:
Mach mit Zwischenlisten und Datenübergabe beim Erstellen der Threads,
Genau so mache ich es. Die Frage war nur, wie ich die Aufteilung richtig mache. Wie geagt nicht rechnerisch sondern Code.

Geändert von DieDolly (19. Jan 2021 um 11:51 Uhr)
  Mit Zitat antworten Zitat
OlafSt

Registriert seit: 2. Mär 2007
Ort: Hamburg
284 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#5

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 11:37
Naja, man wird ja noch TObjectList.Count durch 8 teilen können und dann diese Anzahl Entries auf die 8 anderen Lists verteilen können...

Blöd nur, das das ganze nicht so funktionieren wird, wie du dir das vorstellst. Nicht jeder Thread hat gleich große Files, somit sind nicht alle gleichzeitig fertig - im Gegenteil.
Außerdem sind File-I/O-Operationen ohnehin sequentiell, eine Festplatte ist bereits mit 2 zeitgleichen Zugriffen völlig am Ende, bei SSD dauert das nur ein wenig länger.

Ergo: Anderes Konzept.
  Mit Zitat antworten Zitat
Benutzerbild von Uwe Raabe
Uwe Raabe

Registriert seit: 20. Jan 2006
Ort: Lübbecke
8.820 Beiträge
 
Delphi 10.4 Sydney
 
#6

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 11:41
TParallel.For hat eine Überladung mit einem Stride Parameter. Damit ließe sich das im genannten Beispiel so lösen:
Delphi-Quellcode:
  TParallel.For(125, 1, 1000,
    procedure(Index: Integer)
    begin
      { Bearbeite Listeneintrag[Index] }
    end
  );
Das Stride = 125 sorgt bewirkt, dass ein WorkerThread 125 Indizes hintereinander abarbeitet. Damit wird die For-Schleife auf bis zu acht Threads aufgeteilt.
Uwe Raabe
Certified Delphi Master Developer
Embarcadero MVP
Blog: The Art of Delphi Programming
  Mit Zitat antworten Zitat
Benutzerbild von jaenicke
jaenicke

Registriert seit: 10. Jun 2003
Ort: Berlin
8.147 Beiträge
 
Delphi 10.4 Sydney
 
#7

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 11:50
Für die Verteilung auf die Threads hat Uwe ja schon eine Lösung genannt. Da reicht es die Indizes irgendwie zu verteilen, egal ob auf dem Weg oder anders, da die Liste bei reinen Lesezugriffen threadsicher ist.

Ich habe eine TObjectList die eine Dateiliste repräsentiert.
Ich möchte basierend auf dieser Liste gerne Threads erstellen.
Beispielzahlen: 1000 Dateien, 8 Threads. Jeder Thread verarbeitet 125 Dateien.
Wie stellt man das am besten an? Ich meine nicht rechnerisch sondern das Erstellen der Threads, ohne temporäre Zwischenlisten.
Temporäre Zwischenlisten sind bei normalen Festplatten der bessere Weg. Ein Thread geht die Liste durch, lädt nur stur die Dateien und übergibt diese geladen an die Threads zur Verarbeitung. So kann man die Leserate der Festplatte am besten ausnutzen.
Denn wenn du einfach nur auf 8 Threads verteilst, wird das ganze eher noch langsamer als vorher, wenn die Verarbeitung einer Datei nicht gerade ein Vielfaches der Lesezeit von der Festplatte benötigt.

Bei SSDs könnte man auch beim Lesen der Dateien parallele Zugriffe versuchen, aber auch nicht unbeschränkt viele, da kommt es auf die Größe der Dateien an wo hier Optimierungspotential ist.

Man könnte auch mit MMFs arbeiten um Windows so eine Optimierung der Zugriffe zu ermöglichen, wenn es sich um große Dateien handelt.
Sebastian Jänicke
Alle eigenen Projekte sind eingestellt, ebenso meine Homepage, Downloadlinks usw. im Forum bleiben aktiv!
  Mit Zitat antworten Zitat
DieDolly

Registriert seit: 22. Jun 2018
1.913 Beiträge
 
#8

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 11:51
Zitat:
Bei SSDs könnte man auch beim Lesen der Dateien parallele Zugriffe versuchen, aber auch nicht unbeschränkt viele, da kommt es auf die Größe der Dateien an wo hier Optimierungspotential ist.

Man könnte auch mit MMFs arbeiten um Windows so eine Optimierung der Zugriffe zu ermöglichen, wenn es sich um große Dateien handelt.
Ich lese keine Dateien. Es geht nur um die Aufteilung der Listen.


Ich kann euch ja mal meinen absolut scheuslichen Code zeigen. Dann versteht ihr, warum ich hier nachfrage.
An der Sache mit den Threads kann ich nichts ändern. Es geht nur um die Aufteilung / Zuweisung in die Threads/Erstellung der Threads

Delphi-Quellcode:
MaxThreadCount := 8;
FilesPerThread := MainProcessFileList_ObjectList.Count div MaxThreadCount;
SetLength(TmpFileLists_ObjectList, MaxThreadCount);

for i := 0 to MaxThreadCount - 1 do
 begin
  try
   if MainProcessFileList_ObjectList.Count >= FilesPerThread then
    begin
     TmpFileLists_ObjectList[i] := TObjectList<TFileEntry_CopyProcess>.Create;
     TmpFileLists_ObjectList[i].OwnsObjects := False;
     TmpFileLists_ObjectList[i].Clear;

     iCnt := FilesPerThread;

     for j := 0 to iCnt - 1 do
      begin
       TmpFileLists_ObjectList[i].Insert(j, MainProcessFileList_ObjectList.Items[j]);
      end;

     for j := iCnt - 1 downto 0 do
      begin
       MainProcessFileList_ObjectList.Delete(j);
      end;

     // Thread erstellen
     if TmpFileLists_ObjectList[i].Count > 0 then
      begin
       createCopyThread(TmpFileLists_ObjectList[i], ..., ...); // ERSTELLUNG DES THREADS MIT DEM REST DER IN TmpFileLists_ObjectList DRIN IST
      end;
    end
   else
    Break;
  except
   // Mache dies und das im Fall des Falles
  end;
 end; // for

// Wenn noch Dateien "übrig" bleiben (z.B. bei 130 Dateien, 8 Threads bleiben 2 Dateien "übrig")
if (MainProcessFileList_ObjectList.Count > 0) then
 begin
  // Thread erstellen
  createCopyThread(TmpFileLists_ObjectList[i], ..., ...); // ERSTELLUNG DES THREADS MIT DEM REST DER IN TmpFileLists_ObjectList DRIN IST

  for i := MainProcessFileList_ObjectList.Count - 1 downto 0 do
   begin
    MainProcessFileList_ObjectList.Items[i].Free;
    MainProcessFileList_ObjectList.Delete(i);
   end;
 end;
Zitat:
TParallel.For hat eine Überladung mit einem Stride Parameter. Damit ließe sich das im genannten Beispiel so lösen:
Wofür ist denn das Low- und HighInclusive?
Low = einfach 1 und High = Anzahl der Dateien?

In meinem Fall also?
Delphi-Quellcode:
TParallel.For(MainProcessFileList_ObjectList.Count div MaxThreadCount, 1, MainProcessFileList_ObjectList.Count,
 procedure(Index: Integer)
  begin
   // Bearbeite Listeneintrag[Index]
  end);
Dieses Parallel.For verstehe ich noch nicht so richtig. Wie packe ich die Listeneinträge jetzt in einen Thread? Also bei 125 Dateien 16 Dateien pro Thread?
createCopyThread() darf ich in diesem Fall nur 8x aufrufen.
createCopyThread erwartet als letzten Parameter "IsLastThreads: Boolean". Ich muss also auch irgendwie rausfinden, welcher der letzte Thread ist.

Wie mache ich das alles mit TParallel.For? Kann man meinen Code ansonsten irgendwie verbessern:

Geändert von DieDolly (19. Jan 2021 um 12:48 Uhr)
  Mit Zitat antworten Zitat
TiGü

Registriert seit: 6. Apr 2011
Ort: Berlin
2.836 Beiträge
 
Delphi 10.2 Tokyo Enterprise
 
#9

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 13:42
Zeig uns doch mal das Execute von diesen "CopyThread".
  Mit Zitat antworten Zitat
DieDolly

Registriert seit: 22. Jun 2018
1.913 Beiträge
 
#10

AW: TObjectList-Einträge auf meherere Threads aufteilen

  Alt 19. Jan 2021, 13:45
Wofür ist das Execute wichtig? Das ist doch egal. Es geht -nur- um die Aufteilung der ObjectList in mehrere ObjectListen, damit ich daraus Threads befüllen kann.
TFor.Parallel ist gut, aber da fehlen mir ein paar Dinge. Ich muss da drin u.a. eine Zählervariable haben.

Das Execute ist egal und tut nichts zur Sache. Den Code davon ändere ich ohnehin nicht.

Geändert von DieDolly (19. Jan 2021 um 13:54 Uhr)
  Mit Zitat antworten Zitat
Antwort Antwort
Seite 1 von 3  1 23   

Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 22:18 Uhr.
Powered by vBulletin® Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2021 by Daniel R. Wolf