FireDAC kopieren mit Query1.Data := Query2.Data

[omp]

Hallo.
Ich habe zwei Datenbanken zwischen denen ganze Tabellen kopiert werden müssen. Die DBs können unterschiedliche Formate (Access, SQLite, Firebird, MS SQL) haben, werden aber immer über FireDAC geöffnet.

Bisher wurde die Quelltabelle durchlaufen und Record für Record kopiert. Zu langsam bei sehr großen Datasets.

Es bieten sich mehrere Möglichkeiten: TFDQuery.CopyDataSet, TFDBatchMove und die wohl schnellste Methode mit TFDDataset.Data. Nutzt das jemand?

Code:

FDQuerySrc.Open('SELECT * FROM document');
FDQuerySrc.FetchAll;

FDQueryDst.SQL.Assign(FDQuerySrc.SQL);
FDQueryDst.Data := FDQuerySrc.Data;

Da passiert rein garnichts. Habe zum Test auch für beide Query eine Access-DB genommen. In der Ziel-DB ist eine Tabelle mit gleichen Datenfeldern vorhanden.

Würde mich über Tipps und Hinweise freuen.
Gruß, Harald

[Bernhard Geyer]

Zitat von omp:

Hallo.
Ich habe zwei Datenbanken zwischen denen ganze Tabellen kopiert werden müssen. Die DBs können unterschiedliche Formate (Access, SQLite, Firebird, MS SQL) haben, werden aber immer über FireDAC geöffnet.

Bisher wurde die Quelltabelle durchlaufen und Record für Record kopiert. Zu langsam bei sehr großen Datasets.

Du kannst das sehr beschleunigen wenn:

1, Alles über prepared statements läuft
2, Die Inserts nicht nur ein Datensatz schreiben sondern gleich mehrere (insert into tab1(feld1, feld2, ...) values('1', '2', ...) (...) (...)
(genau Syntax weicht hier von DBMS zu DBMS ab.

[p80286]

Eine weitere Möglichkeit der Beschleunigung wäre es, den Index abzuschalten.

Nur, warum willst Du eine(?) ganze Tabelle kopieren? Zumindest der PK ist doch wahrscheinlich DB-spezifisch?

Wenn es darum geht eine ganze DB zu duplizieren, würde es sich anbieten, ein Skript mit den DDE-Befehlen und den Insert Statements zu erstellen.

Gruß
K-H

[Uwe Raabe]

Das Data-Property ist für diese Aufgabe nicht geeignet, da es lediglich die Daten in das Ziel-DataSet übernimmt (eigentlich sogar nur als Referenz und nicht als Kopie). Damit landen aber noch keine Daten in irgendeiner Datenbank.

CopyDataSet wird auch nicht wesentlich schneller sein, da es ebenfalls jeden Record einzeln kopiert. Es macht aber halt einen schlanken Code.

Ich würde es mal mit TFDBatchMove probieren, da es exakt für diesen Fall gedacht ist.

[omp]

Besten Dank für eure Antworten.

Zitat von Uwe Raabe:

Das Data-Property ist für diese Aufgabe nicht geeignet, da es lediglich die Daten in das Ziel-DataSet

Hm, die Dokumentation sagt "CopyDataset... Diese Methode entspricht der Zuweisung von Werten zu der Eigenschaft Data. Es gibt folgende Unterschiede ... Die Zuweisung von Werten zu Data erfolgt viel schneller als CopyDataSet..."

Ich habe mit CopyDataset jetzt aber eine brauchbare Performance. Schneller wäre schön,

Zitat von p80286:

Nur, warum willst Du eine(?) ganze Tabelle kopieren?

dieses Kopieren ist aber nur eine einmalige Umstellung der Datenbank auf ein anderes Format, meist von Desktop-DB zum SQL-Server, wenn die Daten beim Kunden eine gewisse Größe erreicht haben.

Gruß, Harald

[haentschman]

Moin...

Zitat:

dieses Kopieren ist aber nur eine einmalige Umstellung der Datenbank auf ein anderes Format

...über welche Datenmengen reden wir?

Zitat:

Bisher wurde die Quelltabelle durchlaufen und Record für Record kopiert. Zu langsam bei sehr großen Datasets.

...Bauchgefühl sagt das das trotzdem die sicherste Methode ist. Die Datenbanken sind ggf. zu unterschiedlich. Angefangen von Datentypen bis SP... Das würde ich mir nicht antun wenn es klassisch funktioniert.

[omp]

Zitat von haentschman:

über welche Datenmengen reden wir?

Die Tabelle, die mir Probleme bereitete enthält Wörter und IDs, also nur zwei Spalten, jedoch mit 11 Mio Zeilen.

[haentschman]

Welchen Zeitrahmen für die Übertragung der 11 Mio Zeilen stellst du dir vor?

Letztendlich, egal wie du es machst, kommst du nicht drumherum die Statements Richtung Datenbank abzusetzen. Verschiede DBMS unterstützen BULK INSERT. Quasi Import von Massendaten. Das erfordert aber eine DBMS spezifische Implementierung.

[Uwe Raabe]

Zitat von omp:

Hm, die Dokumentation sagt "CopyDataset... Diese Methode entspricht der Zuweisung von Werten zu der Eigenschaft Data. Es gibt folgende Unterschiede ... Die Zuweisung von Werten zu Data erfolgt viel schneller als CopyDataSet..."

Traue keiner Dokumentation, die du nicht selber geschrieben hast

Der Knackpunkt liegt in der Zeile darüber:

Zitat:

Die Eigenschaft Data kopiert alle Versionen der Datensatzfelder und behält den Zeilenstatus (eingefügt, gelöscht, aktualisiert oder nicht geändert) bei.

In deinem Anwendungsfall gelten somit alle mit Data übertragenen Records als nicht geändert und insbesondere auch nicht als eingefügt und es besteht also aus Sicht der Query keine Veranlassung, irgendetwas an die Datenbank zu schicken.

Im Gegensatz zu CopyDataSet:

Zitat:

Wenn sich coAppend in AOptions befindet, fügen Sie der Self-Datenmenge einen neuen Datensatz hinzu.

und der landet dann auch irgendwie in der Datenbank.