"ReceiveHeader: Net packets out of order: received[1], expected[2]"

Multiple MyCommands over one MyConnection.
Only one connection can be used because there are temporary tables.

zusammenfalten · markieren

Delphi-Quellcode:

-------------- snip -------------
type SQLQueryThread=class(TThread)
private
sqlstr:ansistring;
public
constructor Create(querystr:ansistring);
procedure Execute; override;
destructor Destroy; override;
end;

var sema_threads_running,sema_threads_completed:integer;

constructor SQLQueryThread.Create(querystr:ansistring);
begin
inherited Create(false);
sqlstr:=querystr;
inc(sema_threads_running);
end;

procedure SQLQueryThread.Execute;
var dbcmd:TMyCommand;
begin
dbcmd:=TMyCommand.Create(frm_search_database);
dbcmd.CommandTimeout:=3000;
dbcmd.ParamCheck:=false;
dbcmd.Prepared:=false;
dbcmd.Connection:=frm_main.MyConnection1;
dbcmd.SQL.Add(sqlstr);
dbcmd.Execute;
dbcmd.Free;
end;

destructor SQLQueryThread.Destroy;
begin
dec(sema_threads_running);
inc(sema_threads_completed);
inherited Destroy;
end;


//this part uses the threads

progressbar1.Maximum:=sqlcommandlist.Count-1;
sema_threads_running:=0;
sema_threads_completed:=0;
for i:=0 to sqlcommandlist.Count-1 do
begin
//alle befehle uebertragen
SQLQueryThread.Create(sqlcommandlist.Strings[i]);
repeat
application.ProcessMessages;
sleep(1);
until(sema_threads_running<maxquerythreads);
progressbar1.Position:=sema_threads_completed;
end;
repeat
application.ProcessMessages;
sleep(1);
progressbar1.Position:=sema_threads_completed;
until(sema_threads_running=0);

Bist du sicher das die verwendete MySQL-Zugriffskomponente Thread-Fähig ist?

Ich würde hier für jeden Thread ein eigenes Connection-Object verwenden und nicht auf die Connection des Hauptthreads zugreifen.

es geht bei unserem tool darum, dass durch mehrere algorithmen eine temp-table gefüllt wird. dies muss parallel geschehen, da die nachfolgenden schritte von dieser temp-table abhängig sind.
die temp-table hat für uns sehr viele vorteile, darum muss sie auch bleiben!
es gilt nun eine lösung zu finden, alle threads nur eine connection nutzen lassen, wobei ALLE threads auch ALLE zur zeit befindlichen daten in der temp-table sehen müssen. (jeder thread muss also wissen, wie weit der andere gerade mit der "befüllung" der temp-table ist!)
anhand des quelltextes siehst du, wie wir das versucht haben, dabei ist allerdings besagter fehler aufgetreten.
vielleicht gibt es ja auch eine ganz andere lösung für unser problem, dass wir gerade nicht sehen!?

mfg andreas

ihr könntet ja gleichzeitige Zugriffe über eine CriticalSection absichern,
außerdem müssen die VCL-Komponenten mit der VCL synchronisiert werden.

Du hast eine temporäre Tabelle und nutzt weder prepared Statements noch die ;öglichkeit mehrere INSERTS in einem Ablauf ablaufen zu lassen (Stichwort: BULK INSERT). Durch solche eine Optimierung könntest du evtl. komplettt auf Threads verzichten da du durch sowas eh die Datenbank (für diese Tabelle) nahezu zu 100% auslasten kannst.

Crosspost im Delphi-Forum

alle übertragenen befehle sind insertsinto temptables select ...es werden keine nutzdaten übertragen!

Zitat von MisterAHA:

alle übertragenen befehle sind insertsinto temptables select ...es werden keine nutzdaten übertragen!

Du kannst trotzdem alle insertintos in einm block (BULK) übertragen und ausführen lassen. Würde mich wundern wenn das Anstoßen in diversen Threads schnelle wäre.

MYSQL arbeitet dann aber nur sehr unzureichend parallel,und daher bei multicore-cpu's nur auf "sparflamme"
aus diesem grund wollen wir unser programm multithread-fähig machen, um mysql voll ausreizen zu können.

Zitat von MisterAHA:

MYSQL arbeitet dann aber nur sehr unzureichend parallel,und daher bei multicore-cpu's nur auf "sparflamme"
aus diesem grund wollen wir unser programm multithread-fähig machen, um mysql voll ausreizen zu können.

Wie werden Temporäre Tabellen gehandelt. Falls hier die Festplatte im Spiel ist wird wohl dort ein Bottleneck sein. Aber auch ohne Festplatte wird hier vermutlich eher wenig Parallelität möglich sein da ja alle auf einem Index ablaufen muß.

ich versuche mal an dieser stelle, die problemstellung unseres projektes ein wenig weiter zu fassen.

es geht darum das unser tool auf eine datenbank zugreift. dies sollte auf jeden fall mit multithread geschehen.
da mysql ja schon multithreadfähig ist, müssen wir bei unserem tool ansetzen.
es gilt also nun, den algorithmus unsererseits ebenfalls multithreadfähig zu machen. dabei wäre es für uns am sinnvollsten über temptables zu gehen (der algorithmus füllt diese während eines threads mit informationen) die dann weiter verarbeitet werden können.
temptables deshalb, da diese von mysql bei einem fehler (und das kann auch nur ein absturz eines client sein) automatisch gelöscht werden, d.h. kein datenmüll übrig bleibt den die datenbank unnötig belastet.
alle threads MÜSSEN aber die GLEICHE temptable füllen, weil diese information in einem weiter schritt benötigt wird.
die temptables werden im ram gehalten.

hat vielleicht einer von euch einen strukturellen lösungsansatz für dieses problem? am besten wäre es, wenn der lösungsansatz mit nur einer connection auskommen würde.

mfg andreas