Es hält sich in Grenzen. Die Frage ist, wie viel Erfahrung du damit schon hast. Wenn du sowas noch nie gemacht hast (Kann ich davon ausgehen?), dann wird es nicht so einfach. Für
Indy findest du sicher tausende Beispiele im Netz. Das Parsen ist dir selbst überlassen. Was spricht gegen eine Textdatei? Debian-basierte Linux-Distributionen machen das auch alle so für ihre vielen Gigabyte Updates.
Siehe hier. Die haben die Daten sogar noch gzipped.
Liebe Grüße,
Valentin