Datenimport in Firebird / Bulkload

[lume96]

Hallo,

ich muss grössere Datenmengen (Tabelle mit ca 90 Spalten und mehreren 10.000 records) mehrmals täglich in eine Firebird 1.5 DB importieren. Die Daten sollen in eine "Temp"-Tabelle und werden dann mit Stored procs ausgewertet. Hinzu kommt, das die Daten aus einer Textdatei stammen und die einzelnen Spalten mit "TAB" voneinander getrennt sind. Damit scheint "external file" ausgeschlossen, denn der setzt ja festgelegte Spaltenlängen vorraus.

Hat jemand 'ne Idee wie ich die Daten möglichst schnell in Firebird bekomme :?:

Zur Not kann ich die Textdatei natürlich voher umformatieren und dann "external file" benutzen; wenn's aber einen einfacheren Weg geben würde, hätte ich nichts dagegen.

Das Ganze muss natürlich automatisierbar sein (batch-file).


Schon mal Danke im Vorraus für Eure Hilfe.

MfG
Lutz

[Hansa]

Das ist kein großes Problem. Allerdings ist folgendes wichtig : ist die Textdatei fest vorgegeben, oder kann man an der noch was machen ? Vermute mal, die steht fest wegen Fremdsystem usw.

Das Problem wird dadurch nicht größer, nur mehr Arbeit. :mrgreen: Und das mit external File ? Kann ich nur von abraten.

[lume96]

Zitat:

Zitat von Hansa

Das ist kein großes Problem. Allerdings ist folgendes wichtig : ist die Textdatei fest vorgegeben, oder kann man an der noch was machen ? Vermute mal, die steht fest wegen Fremdsystem usw.
.

Hi,

also die Datei stammt tatsächlich aus einem Fremdsystem. Es handelt sich allerdings um eine einfache Textdatei; man könnte rein theoretisch ein Kosolenprogramm zur Transformation in einem Batch mit einbinden.

Das "Problem" ist, dass diese Datei verschiedene Arten von Daten enthält. Die erste Spalte jeder Linie gibt durch einem Code vor, welche Art von Daten die Linie beinhaltet. Vereinfacht sieht das so aus :

AT_#9_Feld1_#9_Feld2_#9_Feld3_#9_Feld4_#9_Feld5_#9 _Feld6
PR_#9_Feld1_#9_Feld2
AB_#9_Feld1_#9_Feld2_#9_Feld3_#9_Feld4_#9_Feld5
XYZ_#9_Feld1_#9_Feld2_#9_Feld3_#9_Feld4_#9_Feld5_# 9_Feld6_#9_Feld7

Wie man sehen kann, haben, je nach Art der Daten, die Linien verschiedene Längen.

Zur Zeit lade ich die Daten manuell* in eine Temptabelle von 100 Feldern Varchar(200) und dann habe ich verschiedene Stored Procs die das Ganze einlesen und die verschiedenen Tabellen mit den Daten updaten.

* Ich hab mir Insertinstruktionen für einen Testdatensatz gebaut.

Ich hoffe, ich hab jetzt nix vergessen.

MfG
Lutz