ADO/MSSQL mit Multi Prozessor Board

[Sir Rufo]

Wenn bei der Berechnung jedes Datensatzes ca. 1 Sekunde benötigt wird, dann braucht man im Idealfall

Anzahl	Cores	Dauer (h)
1.000.000	1	277,77
1.000.000	6	46,30

Dies ist aber jetzt die reine Berechnungszeit und erfodert die volle Aufmerksamkeit eines jeden Cores. Hat man 4 Cores, dann nützen einem 6 Threads hier nichts ... sie sind eher schädlich.

Bei der Menge der Datensätze und dem Thread-Aufbau (Daten lesen, Berechnen, Daten schreiben) spielen die Zeiten für Lesen/Schreiben auch eine Rolle und addieren sich hinzu. Eine CriticalSection sorgt auch noch dafür, dass die Threads sich untereinander ausbremsen.

Darum nimmt man dafür eine Pipeline.

1. Die erste Stage holt die Datensätze und schiebt diese in eine Queue A
2. Die zweite Stage holt einen Datensatz aus der Queue A, führt die Berechnung aus und gibt das Ergebnis in eine Queue B
3. Die dritte Stage holt einen Datensatz aus der Queue B und schreibt den Datensatz wieder zurück

Mit diesem Aufbau kommt man ziemlich nahe an den Idealfall von Anzahl * Berechnungszeit / Cores, denn die gegenseitige Behinderung ist nur beim Zugriff auf die Queues A/B gegeben und die sind extrem kurz.

[jobo]

Zitat:

Zitat von Sir Rufo (Beitrag 1335836)

Wenn bei der Berechnung jedes Datensatzes ca. 1 Sekunde benötigt wird, ..

Ist denn irgendwo angegeben, dass die Datenbasis für die Berechnung 1 Datensatz ist?

[Sir Rufo]

Zitat:

Zitat von jobo (Beitrag 1335855)

Zitat:

Zitat von Sir Rufo (Beitrag 1335836)

Wenn bei der Berechnung jedes Datensatzes ca. 1 Sekunde benötigt wird, ..

Ist denn irgendwo angegeben, dass die Datenbasis für die Berechnung 1 Datensatz ist?

Ja, im ersten Beitrag liest man

Zitat:

komplexere Mathematische Operationen im Client pro Datensatz

[jobo]

Oh, das habe ich übersehen. Danke!

[p80286]

[OT]

Zitat:

Zitat von Sir Rufo (Beitrag 1335836)

....
Darum nimmt man dafür eine Pipeline.
...

Gibt es dafür eine Standardimplementation?

Meine Lösungen waren bisher eher gefrickeltes "geht jetzt und hier".
[/OT]

Gruß
K-H

[Lemmy]

bei so was lohnt eigentlich immer ein Blick auf die Omnithread lib
http://www.thedelphigeek.com/2010/11...sses-with.html

[Sir Rufo]

Zitat:

Zitat von Lemmy (Beitrag 1335908)

bei so was lohnt eigentlich immer ein Blick auf die Omnithread lib
http://www.thedelphigeek.com/2010/11...sses-with.html

Jupp, hilft mir leider nicht, denn ich möchte so etwas immer für jede Plattform haben, darum war selber bauen angesagt :stupid:

[bernhard_LA]

Danke schon mal für die Beiträge, aktuell laufen div. Profiler Messungen
ich melde mich dann wieder

[p80286]

@Lemmy
Vielen dank, da schau ich mal rein.

Gruß
k-H