Datenimport wird sehr langsam

[sega84]

Hallo,
ich erstelle momentan ein Programm welches Daten aus einer MS Access Datenbank ausließt und in eine MSSQL Datenbank einpflegt, eben eine normale Konvertierung.

Hier nun ein Beispiel für den Import von Personen:

Delphi-Quellcode:

procedure TDMKonvert.ImportPersonen;
var sHausNr:string;
var iStrassenID, iOrteID, iRTID:integer;
var sBemerkung:string;
begin
  adoDSAdressen.CacheSize := 1000000;
  adoDSAdressen.Open;
  myProgressbar.min := 0;
  myProgressbar.max := adoDSAdressen.RecordCount;
  myProgressBar.position := 0;
  BPDSetPersonen.open;
  BPDSetRechtstraeger.First;
  iRTID := BPDSetRechtstraeger.getIntValue('id');
  while not adoDSAdressen.eof do
  begin
    sBemerkung := '';
    BPDSetPersonen.Insert;
    sHausNr := LeftStr(GetStrasseHausnr(adoDSAdressen.FieldByName('ADR_Strasse').AsString, true), 10);
    BPDSetPersonen.FieldByName('hausnr').AsString := sHausNr;
    iOrteID := GetOrt(adoDSAdressen.FieldByName('ADR_PLZ').AsString, adoDSAdressen.FieldByName('ADR_ort').AsString);
    BPDSetPersonen.FieldByName('orte_id').AsInteger := iOrteID;
    iStrassenID := GetStrasse(iOrteID, GetStrasseHausNr(adoDSAdressen.FieldByName('ADR_Strasse').AsString, false));
    BPDSetPersonen.FieldByName('strassen_id').AsInteger := iStrassenID;
    BPDSetPersonen.FieldByName('DEBITOREN_NR').AsString := adoDSAdressen.FieldByName('ADR_DebitorenNr').AsString;
    BPDSetPersonen.FieldByName('rechtstraeger_id').AsInteger := iRTID;
    BPDSetPersonen.FieldByName('name').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_Familienname').AsString, 30);
    BPDSetPersonen.FieldByName('name_2').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_Namenszusatz').AsString, 30);
    BPDSetPersonen.FieldByName('vorname').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_Vorname').AsString, 30);
    BPDSetPersonen.FieldByName('geburtsdatum').AsDateTime := adoDSAdressen.FieldByName('ADR_GebDat').AsDateTime;
    BPDSetPersonen.FieldByName('telefon').AsString := LeftStr(adoDSAdressen.FieldbyName('ADR_Telefon1').AsString, 30);
    BPDSetPersonen.FieldByName('mobil').AsString := LeftStr(adoDSAdressen.FieldbyName('ADR_Telefon2').AsString, 30);
    BPDSetPersonen.FieldByName('fax').AsString := LeftStr(adoDSAdressen.FieldbyName('ADR_Telefax').AsString, 30);
    BPDSetPersonen.FieldByName('email').AsString := LeftStr(adoDSAdressen.FieldbyName('ADR_EMail').AsString, 50);
    BPDSetPersonen.FieldByName('KTO').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_KtoNr').AsString, 10);
    BPDSetPersonen.FieldByName('KONTOINHABER').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_KtoInhaber').AsString, 27);
    BPDSetPersonen.FieldByName('sys_insert').AsDateTime := adoDSAdressen.FieldByName('angelegtam').AsDateTime;
    BPDSetPersonen.FieldByName('sys_update').AsDateTime := adoDSAdressen.FieldByName('geaendertam').AsDateTime;
    BPDSetPersonen.FieldByName('bemerkungen').AsString := sBemerkung;
    BPDSetPersonen.FieldByName('konvert').AsString := adoDSAdressen.FieldByName('ADR_GUID').AsString;

    BPDSetPersonen.Post;
    slstPersonen.Add(adoDSAdressen.FieldByName('ADR_GUID').AsString+'=' + IntToStr(BPDSetPersonen.getLastInsertId));
    adoDSAdressen.next;
    myProgressbar.position := myProgressBar.position + 1;
    if myProgressbar.position mod 50 = 0 then
    begin
      myLabel.Caption := IntToStr(myProgressbar.position) + ' von ' + IntToStr(myProgressbar.max);
      application.processmessages;
    end;
  end;
  adoDSAdressen.Close;
end;

Die ca. 1000 ersten Datensätze werden sehr schnell importiert. Die nachfolgenden Datensätze werden nur viel langsamer importiert.
Somit kann es sein, dass die ersten 1000 Datensätze innerhalb von 2 Minuten importiert werden, die nächsten 1000 Datensätze brauchen hingegen ca. 4 Minuten, die nächsten 1000 dann etwa 8 Minuten.

Auf die MSSQL Datenbank greife ich via eigener BridgePattern zu, die auf ADO-Komponenten basiert.
Auf die Access Datenbank greife ich via TADOConnection zu (JET Treiber).

Bitte gibt mir einen Tipp, wie ich den Import stabilisieren kann, so dass alle Datensätze mit gleicher Zeit eingepflegt werden.

Vielen Dank.

[Bernhard Geyer]

Stell den Import auf ein preparet Statement um und lass noch eine Transakation drüber laufen. 10.000 Datensätze/Minute sollten bei einem halbwegs ausgestatteten (MS) SQL-Server kein Problem darstellen.

[sega84]

Zitat:

Zitat von Bernhard Geyer

Stell den Import auf ein preparet Statement um und lass noch eine Transakation drüber laufen. 10.000 Datensätze/Minute sollten bei einem halbwegs ausgestatteten (MS) SQL-Server kein Problem darstellen.

Hättest du wohl ein einfaches kleines Beispiel?

[mkinzler]

Vorbereitung der Abfrage mit Parametern

Delphi-Quellcode:

Query.Sql.Text := 'Insert into <tabelle> (<Feldliste>) values ( :<Feld1>, :<Feld2> ...);';
...
Query.Prepare;
...

Beim Einfügen, muss man dann nur die Parameter Setzen

Delphi-Quellcode:

Query.ParamByName('<Feld1>').Value := <Wert1>;
...
Query.ExecSQL;