Einzelnen Beitrag anzeigen

sega84

Registriert seit: 18. Sep 2006
73 Beiträge
 
Delphi XE2 Professional
 
#1

Datenimport wird sehr langsam

  Alt 3. Jul 2008, 07:41
Datenbank: MSSQL • Version: 2000 • Zugriff über: BridgePattern
Hallo,
ich erstelle momentan ein Programm welches Daten aus einer MS Access Datenbank ausließt und in eine MSSQL Datenbank einpflegt, eben eine normale Konvertierung.

Hier nun ein Beispiel für den Import von Personen:

Delphi-Quellcode:
procedure TDMKonvert.ImportPersonen;
var sHausNr:string;
var iStrassenID, iOrteID, iRTID:integer;
var sBemerkung:string;
begin
  adoDSAdressen.CacheSize := 1000000;
  adoDSAdressen.Open;
  myProgressbar.min := 0;
  myProgressbar.max := adoDSAdressen.RecordCount;
  myProgressBar.position := 0;
  BPDSetPersonen.open;
  BPDSetRechtstraeger.First;
  iRTID := BPDSetRechtstraeger.getIntValue('id');
  while not adoDSAdressen.eof do
  begin
    sBemerkung := '';
    BPDSetPersonen.Insert;
    sHausNr := LeftStr(GetStrasseHausnr(adoDSAdressen.FieldByName('ADR_Strasse').AsString, true), 10);
    BPDSetPersonen.FieldByName('hausnr').AsString := sHausNr;
    iOrteID := GetOrt(adoDSAdressen.FieldByName('ADR_PLZ').AsString, adoDSAdressen.FieldByName('ADR_ort').AsString);
    BPDSetPersonen.FieldByName('orte_id').AsInteger := iOrteID;
    iStrassenID := GetStrasse(iOrteID, GetStrasseHausNr(adoDSAdressen.FieldByName('ADR_Strasse').AsString, false));
    BPDSetPersonen.FieldByName('strassen_id').AsInteger := iStrassenID;
    BPDSetPersonen.FieldByName('DEBITOREN_NR').AsString := adoDSAdressen.FieldByName('ADR_DebitorenNr').AsString;
    BPDSetPersonen.FieldByName('rechtstraeger_id').AsInteger := iRTID;
    BPDSetPersonen.FieldByName('name').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_Familienname').AsString, 30);
    BPDSetPersonen.FieldByName('name_2').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_Namenszusatz').AsString, 30);
    BPDSetPersonen.FieldByName('vorname').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_Vorname').AsString, 30);
    BPDSetPersonen.FieldByName('geburtsdatum').AsDateTime := adoDSAdressen.FieldByName('ADR_GebDat').AsDateTime;
    BPDSetPersonen.FieldByName('telefon').AsString := LeftStr(adoDSAdressen.FieldbyName('ADR_Telefon1').AsString, 30);
    BPDSetPersonen.FieldByName('mobil').AsString := LeftStr(adoDSAdressen.FieldbyName('ADR_Telefon2').AsString, 30);
    BPDSetPersonen.FieldByName('fax').AsString := LeftStr(adoDSAdressen.FieldbyName('ADR_Telefax').AsString, 30);
    BPDSetPersonen.FieldByName('email').AsString := LeftStr(adoDSAdressen.FieldbyName('ADR_EMail').AsString, 50);
    BPDSetPersonen.FieldByName('KTO').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_KtoNr').AsString, 10);
    BPDSetPersonen.FieldByName('KONTOINHABER').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_KtoInhaber').AsString, 27);
    BPDSetPersonen.FieldByName('sys_insert').AsDateTime := adoDSAdressen.FieldByName('angelegtam').AsDateTime;
    BPDSetPersonen.FieldByName('sys_update').AsDateTime := adoDSAdressen.FieldByName('geaendertam').AsDateTime;
    BPDSetPersonen.FieldByName('bemerkungen').AsString := sBemerkung;
    BPDSetPersonen.FieldByName('konvert').AsString := adoDSAdressen.FieldByName('ADR_GUID').AsString;

    BPDSetPersonen.Post;
    slstPersonen.Add(adoDSAdressen.FieldByName('ADR_GUID').AsString+'=' + IntToStr(BPDSetPersonen.getLastInsertId));
    adoDSAdressen.next;
    myProgressbar.position := myProgressBar.position + 1;
    if myProgressbar.position mod 50 = 0 then
    begin
      myLabel.Caption := IntToStr(myProgressbar.position) + ' von ' + IntToStr(myProgressbar.max);
      application.processmessages;
    end;
  end;
  adoDSAdressen.Close;
end;
Die ca. 1000 ersten Datensätze werden sehr schnell importiert. Die nachfolgenden Datensätze werden nur viel langsamer importiert.
Somit kann es sein, dass die ersten 1000 Datensätze innerhalb von 2 Minuten importiert werden, die nächsten 1000 Datensätze brauchen hingegen ca. 4 Minuten, die nächsten 1000 dann etwa 8 Minuten.

Auf die MSSQL Datenbank greife ich via eigener BridgePattern zu, die auf ADO-Komponenten basiert.
Auf die Access Datenbank greife ich via TADOConnection zu (JET Treiber).

Bitte gibt mir einen Tipp, wie ich den Import stabilisieren kann, so dass alle Datensätze mit gleicher Zeit eingepflegt werden.

Vielen Dank.
  Mit Zitat antworten Zitat