Schnelle DB / Dateibasierend

[neo4a]

Zitat von p80286:

Genau das soll es ja nicht sein

Sorry, ich habe mich da nicht ganz klar ausgedrückt.

Der erste Prozess schreibt z.B. 10 oder 100 Nachrichten in eine Datei 0001.txt, die nächsten 10 oder 100 in 0002.txt usw. Der 2. Prozess liest 0001.txt, wandelt sie in ein SQL-Script mit Inserts und führt sie aus. Anschließend löscht Prozess 2 0001.txt und macht mit 0002.txt weiter.

Damit mache ich mich bei der Übernahme der Daten unabhängig von deren Weitergabe.

Zur Phase 2: 1000 Datensätze en-bloc sind in eine Firebird-Datenbank in wenigen Sekunden eingefügt, wenn da keine großartigen Trigger etc. mitlaufen. Damit wird die Übernahme von 20000 Datensätzen ein Minuten-Job.

[divBy0]

So einen ähnlichen Fall hatte ich auch mal. Über TCP habe ich Nachrichten erhalten und musste diese in eine Datenbank schreiben. Die empfangenen Nachrichten habe ich dann erst mal in einer Datei mittels TFileStream gesichert und dann von dort aus in die Datenbank geschrieben.

Vorteil war, dass keine Nachrichten verloren gegangen sind wenn der Datenbankserver wärend der Inbetriebnahme mal nicht erreichbar war (was öfters vorkam).