Schnelle DB / Dateibasierend

[Furtbichler]

Also ich habe einen Workerthread, der die zu speichernden Daten in einer Stringliste puffert. Der Thread an sich schnappt sich den nächsten String und speichert ihn in der DB. Ich verwende Firebird und komme auf ordentliche 600 Zeilen pro Sekunde. Es ist zwar der Server, aber auf dem selben PC.

Mit dem Puffern im Workerthread kann ich kurzzeitige Spitzen locker abfedern.

Wenn vorher die Sicherheit einer Text-Datei ausreichend war, kann man auch mit Tranksaktionen bzw. gepuffertem Speichern arbeiten, d.h. man sammelt X Daten und bläst die en block (oder in einer Transaktion gekapselt). Ein commit/write wird dann z.B. alle 500ms aufgerufen (sofern daten da sind). Damit sollten noch ein paar 100 Datensätze mehr pro Sekunde verarbeitbar sein.