Datenbankaktionen responsive halten

[hstreicher]

das folgende ist nur für den Kopiervorgang sinnvoll

in der Datenbank vor dem Kopieren alle Indices deaktivieren

und erst nachdem alle Daten eingefügt sind wieder aktivieren
-

Bitte mal wie vorgeschlagen im Resourcenmonitor(Gibts auch in Windows 7) die Seite mit dem Datenträger öffnen ,
über den Diagrammen steht da ein Wert Warteschlange
das sind die Schreib und Lesevorgänge die noch auf Bearbeitung warten
wenn der Wert dauerhaft deutlich über 1 liegt
dann ist das Plattensystem der Flaschenhals

mfg Hannes

[Zwirbel]

Zitat von hstreicher:

das folgende ist nur für den Kopiervorgang sinnvoll

in der Datenbank vor dem Kopieren alle Indices deaktivieren

und erst nachdem alle Daten eingefügt sind wieder aktivieren

Davon hatte ich auch schon gelesen, allerdings suche ich noch nach einer Möglichkeit alle Indizes möglichst mit einem Befehl ein- und auszuschalten. Oder ich müsste mein Skript, das die Tabellen aufbaut um die Indizes kürzen und die Indizes erst nach dem Befüllen der Tabellen anlegen.

Zitat von hstreicher:

Bitte mal wie vorgeschlagen im Resourcenmonitor(Gibts auch in Windows 7) die Seite mit dem Datenträger öffnen, über den Diagrammen steht da ein Wert Warteschlange das sind die Schreib und Lesevorgänge die noch auf Bearbeitung warten wenn der Wert dauerhaft deutlich über 1 liegt dann ist das Plattensystem der Flaschenhals

Da steht "0.05".

[himitsu]

Zitat:

Delphi-Quellcode:

            InsertSQL := Format('INSERT INTO %s (%s) VALUES (%s)', [TableName, InsertFieldNames, InsertFieldValues]);
            qry_FB.SQL.Clear;
            qry_FB.SQL.Add(InsertSQL);
            qry_FB.ExecSQL(InsertSQL);

Und dann sollte Firebird Prepared-Statements kennen.
Also, man verwendet parametrisierte Statements, dann parst FB einmal das SQL-Statement und man übergibt nur noch die neuen Parameter+Execute.
Außerdem kann VALUES auch mehrere Datensätze auf einmal, so muß man nicht für jeden Einzelnen den Tripp zur DB machen.

FireBird kennt auch DB-Bridges, womit es von der DB aus direkt auf eine andere DB zugreifen kann, ohne daß man alles durch ein externes Programm schleußen muß.
http://www.firebirdsql.org/refdocs/l...-execstat.html -> ON EXTERNAL ->www.firebirdfaq.org/faq16/

Zitat:

Speziell geht es um die Frage, wie sorge ich dafür, dass Windows (und alle anderen laufenden Prozesse) in der Zeit nicht lahm gelegt werden oder nur noch zögerlich reagieren?

Mit Threads kann man nur das eigene Programm vom Hängen schützen.
Mit einem Thread kann man aber niemals den Einfluss auf Windows und andere Prozesse beeinflussen, denn von denen aus läuft es bereits in einem "anderem" Thread.

[jobo]

Ich schätze mal die 20% sind 13 % Deine Anwendung und 7% Firebird Server.
Auch wenn Du eine schnellere Platte hast wird das nicht viel ändern. Der Vorgang wird nur insgesamt nicht so lange dauern.
Mit Threading würden die CPU Zahlen steigen, sofern die Festplatte mehr Durchsatz hätte oder die Zugriffe effizienter gemacht würden.

Da Du sowieso schon parameterlose Volltext Inserts erzeugst, versuch doch mal, diese blockweise abzusetzen.
Also 1000 Datensätze einlesen, daraus 1000 Insert bauen, die in einem Schwung ausführen.
Damit reduzierst Du vermutlich den gesamten IO deutlich.

Der Vorschlag von Himitsu mit den DB Bridges klingt auch gut.

Was den späteren Betrieb mit einer lokalen DB angeht:
DB verwenden ja gern ihren Cache, um nicht immer wieder alles neu zu lesen. Das funktioniert idR ganz gut. Je mehr Cahce die DB bekommt, desto weniger Plattenzugriffe fallen an.
Andernfalls externe Server nutzen oder
2. Festplatte einsetzen oder
Datenbanktuning oder Anwendungstuning