Schnelle DB / Dateibasierend

[himitsu]

Wobei man die ankommenden Daten auch in eine Queue schieben kann. Also analog zu den LogTemp-Dateien.
Dieser Queue/Zwischenspeicher wird dann einfach regelmäßig/kontinuierlich geleert und in die DB übertragen.
Sozusagen alles im RAM, anstatt erst über die HDD zu gehn.

OK, wenn der Rechner, bzw. das Programm abstürzt, dann sind die in der Cache befindlichen Daten natürlich weg,
aber auch diese Temp-Dateien können nach einem Absturz korrupt sein.

Kommt also mehr darauf an, wieviel Zeit der Zwischenspeicher überstehen soll.
- länger und öfters > Datei
- nur kurze Spitzen abfangen > RAM

[Furtbichler]

Also ich habe einen Workerthread, der die zu speichernden Daten in einer Stringliste puffert. Der Thread an sich schnappt sich den nächsten String und speichert ihn in der DB. Ich verwende Firebird und komme auf ordentliche 600 Zeilen pro Sekunde. Es ist zwar der Server, aber auf dem selben PC.

Mit dem Puffern im Workerthread kann ich kurzzeitige Spitzen locker abfedern.

Wenn vorher die Sicherheit einer Text-Datei ausreichend war, kann man auch mit Tranksaktionen bzw. gepuffertem Speichern arbeiten, d.h. man sammelt X Daten und bläst die en block (oder in einer Transaktion gekapselt). Ein commit/write wird dann z.B. alle 500ms aufgerufen (sofern daten da sind). Damit sollten noch ein paar 100 Datensätze mehr pro Sekunde verarbeitbar sein.

[Peter Pohmann]

Ich habe mal einen kurzen Test mit TurboDB gemacht. Tabelle mit TIMESTAMP, VARCHAR(200), INTEGER auf der lokalen Platte.
Die ersten 1 Mio. Einträge haben ca. 5 Sekunden gedauert.
Die zweite Million ca. 6 Sekunden.
Das alles ohne Transaktionen und Indexe.
Damit Ihr nicht denkt, das wird gepuffert, schließt sich das Programm nach den Einträgen:

for I := 1 to 1000000 do
TdbTable1.AppendRecord([Now, 'alskdfjöasdlfkja sdflökas dföasd fjasdf', 18]);
Close;

Peter