Ist 'BULK INSERT' keine Option? So kann man mit einem
SQL-Befehl in null-komma-nix Millionen von Datensätzen importieren.
SQL-Code:
BULK INSERT
MyTable
FROM
'C:\Somewhere\MyDataFile.txt'
WITH
FORMATFILE = 'C:\SomewhereElse\MyFormat.xml'
---
--- oder
---
SELECT * FROM OPENROWSET(BULK 'C:\Somewhere\MyDataFile.txt' FORMATFILE='C:\SomewhereElse\MyFormat.xml').
Das Schema für die Format-Datei ist
hier zu finden und sähe ungefähr so aus:
Code:
<?
xml version="1.0"?>
<BCPFORMAT
xmlns="http://schemas.microsoft.com/sqlserver/2004/bulkload/format"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<RECORD>
<FIELD ID="1" xsi:type="CharFixed" LENGTH="20"/>
<FIELD ID="2" xsi:type="CharFixed" LENGTH="7"/>
<FIELD ID="3" xsi:type="CharFixed" LENGTH="40"/>
</RECORD>
<ROW>
<COLUMN SOURCE="1" NAME="Name" xsi:type="SQLVARYCHAR"/>
<COLUMN SOURCE="2" NAME="Age" xsi:type="SQLINT"/>
<COLUMN SOURCE="3" NAME="Street" xsi:type="SQLVARYCHAR"/>
</ROW>
</BCPFORMAT>
Für eine Datei bestehend aus drei Spalten (Längen: 20,7 und 40) und einem String an der 1. und 3. Stelle, sowie einer INT-Zahl an der 2.
Deine 10.000 Datensätze wären so in geschätzten 0.5 Sekunden importiert. Bei 20-50 Mio Records sind das bei meinem Fall ca. 20 Sekunden (sofern ich mich erinnere).
Der dort angewendete Trick war ganz einfach
Der MethodenName 'xxxByName' impliziert eine Suche in einem ungeordneten Array. Das muss langsam sein. Genausowenig, wie man Felder über ihren Namen in einer Schleife füllen soll
MyDataset['FieldName'] := 'Values';
sollte man das mit Parametern tun.
Nichtsdestotrotz würde ich der 'BULK INSERT' Variante eine Chance geben. Sind die Dateien nicht auf dem Server verfügbar, würde ich mich mit BCP.EXE beschäftigen. Die von Bummy propagierte SSIS-Lösung dürfte dies ebenso umsetzen.