Alternative zu While

[Captnemo]

Wenn's mal schnell gehen soll, dann mache ich das so:

Also wenn ich so eine Schleife, die so viele Datensätze verarbeiten soll, dann sollte man ggf. mit einer Progressbar dem Anwender zeigen, das die Verbeitung noch läuft, bzw. wielange sie noch läuft. Ich persönlich blende dafür immer einen eigenen Dialog ein, der mit einer Progressbar und einem Abbrechen-Button bestückt ist.
Innerhalb der Schleife, sorge ich mittel Application.Prozessmessages dafür, dass meine Progressbar aktualisiert wird. Dann nehme ich eine globale Bool-Variable, die mit dem Abbrechen-Button setze, und innerhalb der While-Schleife abfrage.

[Luckie]

Man sollte aber besser BeginThread nehmen, weil das die globale Variable IsMultiThreaded setzt und so den Heap threadsafe macht.

[QuickAndDirty]

Wenn du MSSQL benutzt wäre ein Bulk-INSERT das mittel der Wahl....
Das kürzte bei uns Operationen die nach über 2 Tagen noch nicht fertig waren massiv ab auf unter 20 Minuten.
Es ist dabei nur wichtig das der Pfad in dem die Bulkdatei gebaut wird auch für den SQLServer im zugriff sein muss. Also am besten auf dem selben PC.

Sowas ähnliches müsste eigentlich fast jede DB haben. In Firebird benutzt man z.B. für sowas "External Tables", in MYSQL den "LOAD DATA INFILE" Befehl usw...

[Medium]

Das war jetzt auch mein erster Gedanke. Die meisten DBMS bieten zumindest die Möglichkeit, Daten als CSV zu ex- und importieren, was i.A. ziemlich zügig geht. Wenn man also nur einmalig migrieren möchte, ließe sich das schnell und einfach in der SQL Konsole machen, und auch wenn es um regelmäßige Infusionen solcher Mengen geht wäre es gut denkbar diesen "Umweg" über ein CSV zu gehen, nur dann eben hübsch in ein Programm verpackt.

Noch ein Tipp: INSERTs sind relativ kostspielig, man kann aber mehrere Datensätze in ein INSERT packen: "INSERT INTO foo (feld1, feld2, feld3) VALUES (wert11, wert21, wert31), (wert12, wert22, wert32), ..."
Da beschränkt einen nur, wie viel Zeichen dein DBMS pro Statement verarbeitet, und ggf. begrenzung durch die Datenbankkomponente bzw. den Kommunikationsweg. Je nach Tabelle und DBMS kann es aber auch ab einer gewissen Anzahl Datensätze wieder langsamer werden. Ich hab für ein Tool mit MySQL zwischen 8 und 32 Sätze pro INSERT bisher die besten Zeiten gesehen, wobei es aber halt immer auch an den Tabellen selbst hängt (Feldanzahl, Art und Menge der Keys, Trigger...).