Append Code optimieren aber was macht Sinn?

[guinnes]

Das andauernde FieldByName macht die Sache sicherlich auch nicht schneller. Hast du es schon mal mit persistenten Feldern versucht ?

[dataspider]

Wenn ich jetzt nicht völlig blind bin, würde ich sagen, dass das ständige Öffnen und Schliessen des DataSet überflüssig ist.

Frank

EDIT:

Code:

if FileExists(path_canban) = True then
begin
  AssignFile(F, path_canban);
  Reset(F);
  DSData.Close;
  DSData.CommandText := 'Select * from fullload_data';
  DSData.Open;
  while not EoF(F) do
  begin
    Readln(F, zeile);
    sl_zeile := Split(zeile,';', True); // ist nicht das Problem
    Inc(counter);
    try
      DSData.Append;
      DSData.FieldByName('lname').AsString := sl_zeile[0];
      DSData.FieldByName('sachnr').AsString := sl_zeile[1];
      ..
      DSData.Post;
    Except
      //
    end;
  end;
  DSData.Close;
  ...

[Piro]

An alle, die mir den Tipp geben haben, dass ich das Öffnen der Tabelle vor die Schleifen legen solle, ein herzlichen Dank.

Das hat 50% Zeit eingespart.

jetzt werde ich mir noch die anderen Vorschläge anschauen. Vielleicht geht es ja noch schneller und komme an die Zeit des BULK INSERT.

Vielen Dank nochmal für eure Hilfe.

gruß, Sven

[Sir Rufo]

CSV-Dateien kann man auch per ADO öffnen CSV
(ok, den Hinweis hatte ich dir schon gegeben ... scheint also wohl nicht interessant zu sein)

Der Insert geht wesentlich schneller mit einem "prepared" INSERT-Statement mit Parametern.
Weiterhin sollte man den kompletten INSERT innerhalb einer Transaktion durchführen.
Einige DBMS aktualisieren die Indizes nämlich erst nach Abschluss der Transaktion.

SQL-Code:

INSERT INTO tab ( fld1, fld2, fld3, fld4 ) 
VALUES ( :fld1, :fld2, :fld3, :fld4 )

PS: Nach meiner Erfahrung ist das Öffnen der gesamten Tabelle um dann mit Append und Post neue Datensätze einzufügen, die langsamste Variante, die man wählen kann
Um das Übertragen der bestehenden Datensätze zu verhindern, solltest du den SELECT wie folgt aufrufen:
SELECT * FROM fullload_data WHERE 1 = 0

[shmia]

Die Klausel WHERE 0=1 verhindert, dass unnötigerweise Daten vom Server gelesen werden.

Delphi-Quellcode:

DSData.Close;
DSData.CommandText := 'Select * from fullload_data WHERE 0=1';
DSData.Open;

[Sir Rufo]

Zitat von shmia:

Die Klausel WHERE 0=1 verhindert, dass unnötigerweise Daten vom Server gelesen werden.

Delphi-Quellcode:

DSData.Close;
DSData.CommandText := 'Select * from fullload_data WHERE 0=1';
DSData.Open;

Aber anscheinend steht er auf kompliziert, unflexibel und langsam

[Piro]

Das mit den CSV Dateien hatte ich auch schon mal gemacht. War meine erste Lösung. Nun haben sich aber die Anforderungen geändert und die Daten müssen nun in eine MS SQL Datenbank, um komplexe Abfragen zu erstellen.

Wie müsste man das mit dem "prepared" INSERT-Statement mit Parametern machen. Mir fehlt gerade der Ansatz. Müsste ich dann TADOQuery oder TADOCommand benutzen?

Eins hatte ich noch vergessen. Meine Datenbanktabelle wird vor dem Import geleert mit. Also keine alten Daten vorhanden.

Delphi-Quellcode:

// TADOCommand Komponente
SQLCommand.CommandText := 'TRUNCATE TABLE fullload_data';
SQLCommand.Execute;

[Sir Rufo]

Und trotzdem hast du immer noch eine CSV-Tabelle als Ursprung.

Jetzt willst du die Auswertung damit nicht machen, sondern in eine andere DB pusten.
Und deswegen liest du die CSV-Daten wieder anders ein?

Gerade wenn in der CSV-Datei auch noch die Feldnamen drinstehen, kann man sehr einfach einen multifunktionalen Importer schreiben, der die Quell-Felder in die Zielfelder schreibt.

Felder, die nicht in der Quelle und/oder Ziel vorhanden sind, werden nicht übertragen.

Und das alles mit den ADO-Kompos

Wozu also der Mischmasch gut sein soll, verstehe ich einfach nicht, aber ist ja auch nicht mein Projekt