Zitat:
... externe Lösungen ...
Datenbank und
SQL? Sind extra dafür erfunden worden.
Käme nie auch nur im Ansatz auf die Idee, solche Datenmengen mit Stringlisten ... im Arbeitsspeicher zu verarbeiten. Das muss zwangsläufig irgendwann an Speichermangel scheitern. Und wenn nicht an logischen Speichergrenzen, dann an physikalischen.
Datenbanken können alles das, wonach Du suchst.