Große Logfiles analysieren

[novelly]

Hi Xperts,

nach welchem Prinzip analysiert ihr große Log-Dateien ?

Ich möchte eine kleine Auswertung für die Squid Access-Log Datei schreiben. Z.Z. lade ich die access.log in eine Stringliste und formatiere sie (Unix-Datumsformat umrechenen und uninteressante Infos löschen).
Bei ca. 50.000 Einträgen dauert es eine ganze Weile (je nach Rechnerleistung 5-10 Min). Die Formatierung ist auch noch nicht das Problem und könnte sicherlich noch optimiert werden.

Als Test-Beispiel habe ich jetzt eine access.log von 350MB !!!! Ich glaube das das generell ein wenig die SL´s überfordern könnte.
Tools wie der Webalizer machen das irgendwie viel schneller...nur wie ?

THX
für die Hilfe !

[sakura]

Zitat von novelly:

Tools wie der Webalizer machen das irgendwie viel schneller...nur wie ?

Die laden die Loginformationen zeilenweise und analysieren immer nur die aktuelle Zeile. Dann erstellen die Hash-Trees und arbeiten damit

......