Suchindezies erstellen

[sakura]

Rein theoretisch interessiert mich mal mögliche Lösungen zu folgenden Szenario. Ich habe mehrere Text/XML/HTML Dateien mit mehr oder weniger sinnvollen Inhalten. Wenn ich mal davon ausgehe, dass ich die Texte extrahieren kann, dann würde ich gerne mal einen Suchindex erstellen, der es mir gestattet über die gesamten Dateien hinweg schnell zu suchen. Vorstellung ist es mit Datenmengen von bis zu 100.000 Dateien in einer Größenordnung von vielleicht 100MB Roh-Daten immer noch extrem performant zu sein.

Wer kennt mögliche Ansätze, welche nicht auf Datenbanken oder dem MS Index Service basieren? Wo könnte ich generell vernünftig anfangen.

Ich bin auch für Tipps zu interessanter Literatur dankbar Source Code wird allerdings nicht verabscheut, ist aber wohl eher unwahrscheinlich

......