Große Datenmengen in Relation setzen

[mbamler]

Zitat von Treffnix:

Hallo,

ich hab mal ne etwas allgemeiner gefasste Frage. Ich muss große Mengen an Daten aus verschiedenen Quellen (MS-SQL, SAP, Dateien) abrufen, zwischenspeichern, in Relation bringen und verarbeiten. Im Grunde ist das eine DB-Struktur, nur auf mehrere Quellen verteilt. Ich würd jetzt sozusagen gerne "joinen". Was ist da der performanteste Weg?

Ich würde die Daten der verschiedenen Quellen in eine eigene separate DB kopieren (zyklisch oder 'on demand')(z.B. MS-SQL) und darin dann die erforderlichen Operationen durchführen.
Du verschenkst sonst die Mächtigkeit, die du durch eine Relationale Datenbank geboten bekommst.
Zum anderen werden Operationen auf Datenmengen, die du in Delphi abbildest immer langsamer sein, als wenn du sie direkt in einer Datenbank ausführst. Das liegt nicht an Delphi, sondern an der Art wie die Operationen abgearbeitet werden.

Gruß
Matthias