Wenn du dir eine lokale SQLite Datenbank anlegst, benötigt das bei 10M Datensätzen etwas Zeit. Selbst mit dem lightning-fast schnellen Framework mORMot, erreichst du vielleicht 100-150K Rows/Second. Siehe den mORMot
ORM Benchmark hier. Die Zeit, die du zur Auswertung zur Verfügung hast, sollte dein Vorgehen bestimmen. Wenn 1,5 Minuten zum Zwischenspeichern der Daten kein Problem sind, ist die Verwendung einer lokalen
DB, wie die Vorposter schon geschrieben haben, der einfachste Weg.
Bis bald...
Thomas