Zugriff auf MySql Daten im RAM von mehreren Instanzen möglich?

[bogdan]

Delphi.Narium:

Es ist leider so, dass die Daten nur programmatisch außerhalb der Datenbank ausgewertet werden können.

Auf dem firmen internen Windows Server ist MySQL Workbench installiert.
Es existieren mehrere Datenbanken.
Eine davon hat über 50.000.000 Datensätze.

Auf einem der Arbeitsplatz Laptops ist mein Programm installiert, welche die Daten auswerten muss.

1. Das Programm erzeugt eine SELECT + JOIN Abfrage und holt die Daten aus der MySQL Datenbank. Das Ergebnis reduziert sich auf ca. 10.000.000 Datensätze und wird in den RAM geladen (3-4 GB)

2. Dann werden die Daten mit dem Programm unter verschiedenen Kriterien/Vorgaben ausgewertet. Mit der MySQL Synthax geht das leider nicht.

Es werden sehr viele Kriterien/Vorgaben im Programm erzeugt und in diverser Abhängigkeit die 10.000.000 Daten ausgewertet.

Erzeuge Kriterium 1: a+b+c ---> dann werte die Daten aus
Erzeuge Kriterium 2: b+c+d ---> dann werte die Daten aus
Erzeuge Kriterium 3: a+b+d ---> dann werte die Daten aus
usw.

Hier tummeln sich einige Schleifen, die programmatisch diverse Kriterien erzeugen und bei jeder Änderung müssen alle 10.000.000 Daten von vorne ausgewertet werden.

Um das ganze zu beschleunigen habe ich 3x mein Programm gestartet und die Kriterien verteilt, damit das ganze zügiger abläuft.

Aber um die Daten auszuwerten muss ich diese ja erst mal in das Programm laden (also in den RAM) und dann erzeugen 3x geöffnete Programme mit je 10.000.000 Daten 9-12 GB RAM-Belastung.

juergen
Müsste ich mir anschauen.

[jfheins]

Die Frage war etwas zugespitzt, aber ich sehe es als Aufgabe einer DB, Daten zu halten und verfügbar zu machen. Insofern ist die Frage "wie mache ich 4Gb an Daten für Anwendungen auf meinem PC verfügbar?" Einfach: "Tu sie in eine Datenbank"

Nachdem das Problem inzwischen besser umrissen ist, würde ich 2 Alternativen sehen:

- Zieh die relevanten Datensätze in eine lokale Datenbank. Dann hast du die 4Gb erstmal nur auf der Platte. Die 3 Instanzen können relativ schnell und latenzarm jeden Datensatz lesen
- Lagere die Auswertung nicht in 3 Prozesse sondern ind 3 Thread aus. Solange alle Zugriffe auf die 4GB Daten nur lesend erfolgen, brauchst du auch nix synchronisieren. Du kannst auch einfach jedes Kriterium als eigenen Task anlegen und den Threadpool nutzen. Dann kannst du auch eine moderne 8 Kern CPU auslasten.

[mytbo]

Wenn du dir eine lokale SQLite Datenbank anlegst, benötigt das bei 10M Datensätzen etwas Zeit. Selbst mit dem lightning-fast schnellen Framework mORMot, erreichst du vielleicht 100-150K Rows/Second. Siehe den mORMot ORM Benchmark hier. Die Zeit, die du zur Auswertung zur Verfügung hast, sollte dein Vorgehen bestimmen. Wenn 1,5 Minuten zum Zwischenspeichern der Daten kein Problem sind, ist die Verwendung einer lokalen DB, wie die Vorposter schon geschrieben haben, der einfachste Weg.

Bis bald...
Thomas

[bogdan]

jfheins

Hmmm, das werde ich mal ausprobieren.