Reader für Apache-Logfiles 0.9 beta

[Matze]

Hi zusammen

Um etwas Abwechslung in meinen Alltag zu bekommen habe ich mir einen kleinen Reader für Apache-Logs geschrieben. Mein Ziel war es, Logs halbwegs schnell durchsuchen zu können.

Voraussetzung:

.NET-Framework 2.0 (ob sonst noch was, weiß ich nicht *g*)

Was das Tool können soll:

- Öffnen von einem oder mehreren Logfiles und hinzufügen von weiteren Logfiles, falls bereits welche geöffnet sind
- Suchfunktion
- Möglichkeit, Einträge aus der Liste zu löschen, um die Liste als Logfile exportieren zu können (um später weiter zu arbeiten oder um Admins o.ä. bestimmtes zu zeigen)
- Drag & Drop von einer oder mehreren Dateien
- Sortierung der Liste beim Klick auf die jeweiligen Kopfzeilen
- Abbrechen der aktuellen Operation (nur bedingt getestet)
- Parameter (Öffnen der Dateien beim Ziehen auf die Exe bzw. über "Öffnen mit ..." aus dem Explorer)

Die GUI ist weitestgehend selbsterklärend. Bei Unklarheiten einfach kurz nachfragen.
Die Labels unter der Liste sind dazu da, dass die Werte eines markierten Eintrags in die Zwischenablage kopiert werden können. Das ist hilfreich, wenn man nach diesen Begriffen suchen möchte (im Tool oder im Internet).

Das Tool ist nichts Großes, aber es diente dazu, dass ich etwas lerne.
Also wer Lust hat und Apachelogs besitzt oder selbst seine Logs durchstöbern möchte, kann gerne testen und Fehler melden. Natürlich sind Kritik und Anregungen ausdrücklich erwünscht.

Screenshot:



Kurz-History:

• 0.1 b (v. DP1): erste veröffentlichte Version
  0.1 b (v. DP2): Valles Spezi-Log wird unterstützt
  0.1 b (v. DP3): Parameter werden unterstützt
  0.1 b (v. DP4): Nachfragedialog mit "Append", "Replace" und "Cancel" ausgeführt
  0.2 b: Unterstützung der Standard-Logformate "Common", "Combined" und "Vhost Combined"
  0.3 b: Unterstützung der erweiterten Sucheingabe (mehrere Begriffe, Begriffe ausschließen)
  0.4 b: Bugfix: Logs mit DynDNS anstelle der IP-Adresse wurden nicht als gültig angesehen
  0.5 b: Bei bereits geöffneten Dateien erscheint der Nachfragedialog bzgl. "Append" und "Replace" nicht mehr. Anzahl der Einträge in der Statusleiste korrigiert.
  0.6 b: Suchgeschwindigkeit etwas beschleunigt. Kategoriewahl über das Suchfeld möglich (bsp. "ref=google"). Debugmodus integriert.
  0.7 b: Geschwindigkeit ggf. etwas gesteigert. Sofern keine Kategorie festgelegt wurde, wird keine Suche begonnen (sie führt zu keinem Ergebnis). Fehlerhafte Anzeige von "Log Size" in der Statusleiste korrigiert.
  0.8 b: Einlesezeit minimal verkürzt
  0.9 b: Geschwindikgeit optimiert, Icons hinzugefügt

Grüße, Matze

Edit: Fragt bitte nicht, was "Requested Piece" ist.

[Matze]

Parameter funktionieren in der aktuellen Version (s. Anhang im ersten Beitrag).

Ich dachte es gibt hier ein wildes "hier ein Bug, da ein Bug etc." und daher noch lange nicht reif, um als Freeware durchzugehen. Aber es kam doch etwas anders. Dann verschiebe ich es mal.

[himitsu]

Warum nur das Eine und nicht alle?
Die hängen doch alle zusammen.

Code:

[b]vhost_combined[/b] %v:%p %h %l %u %t "%r" %>s %b "%{Referer}" "%{User-Agent}"
[b]combined[/b]             %h %l %u %t "%r" %>s %b "%{Referer}" "%{User-Agent}"
[b]common[/b]               %h %l %u %t "%r" %>s %b
[b]referer[/b]                                       %{Referer}                  -> %U
[b]agent[/b]                                                      %{User-agent}

(OK, die letzen beiden Logs bieten eh nicht sooo viele Infomationen)

[Matze]

Version 0.2 beta

Ah so ist das, nun wird mir einiges klarer. Das sah oben so chaotisch aus.
Ich versuche mich mal.

PS: Den Dialog habe ich nun auch wie in Beitrag #5 vorgeschlagen angepasst.

Edit: Nur aufgrund der beiden letzten Formate ist es mir nicht möglich, das Format automatisch zu erkennen.
Edit 2: Die letzten beiden Formate lasse ich vermutlich weg. Denn da kann ich auch nicht mehr prüfen, ob eine Datei ein Logfile ist, da jede Datei aus einem String besteht und somit alle Dateien geladen werden würden.
Edit 3: Die neue Version (0.2 b) unterstützt nun die Standard-Logformate "Common", "Combined" und "Vhost Combined"

[Matze]

Version 0.3 beta

Bis zu Version 0.2 beta wurde der Text im Suchfeld als einziger Begriff gewertet. Nun ist es ähnlich wie bei Google:

Sucheingaben wie google 200 zeigen alle Einträge an, die "google" und "200" beinhalten.
Sucheingaben wie google -200 zeigen alle Einträge an, die "google" enthalten und nicht "200".
Sucheingaben wie google "GET /robots.txt" zeigen alle Einträge an, die "google" und "GET /robots.txt" enthalten.

Eine ODER-Funktion ist nicht implementiert und nicht geplant (ich habe diese nie benötigt).

Grüße, Matze

[Matze]

Version 0.4 beta

Vielleicht findet sich ja der ein oder andere nette Mensch und möchte noch etwas testen. Auch wenn es momentan nicht so aussieht.

Logs, die anstelle der IP-Adresse eine DynDNS-Domain beinhalten, wurden nicht als Apache-Logs erkannt. Der Fehler ist nun behoben.

[fkerber]

Hi!

2 Kleinigkeiten bzgl. append:
Wenn man versucht, die selbe Datei, die schon geladen ist, zu appenden passiert ja nichts - ebenso ist ein replace recht "sinnlos"
Daher sollten diese Optionen vllt. nich angeboten werden.

Außerdem passt die Angabe der Log size in der Statusleiste nach einem Append nicht - es wird immer nur die Größe des letzten geladenen Logs angezeigt.


LG, Frederic

[RWarnecke]

Hallo Matze,

ich habe mir gerade mal Dein Programm angeschaut. Dabei sind mir folgende Dinge aufgefallen :

Eine Filterung nach mehreren Spalten wäre nicht schlecht
Die On-the-fly Suche fällt ziemlich träge aus, bei einem Log mit mehr als 1.000.000 Einträgen
Ein kleines Programm-Icon macht optisch auch noch was her.

Aber ansonsten ein sehr gut gelungenes Programm.

[Mithrandir]

Zitat von RWarnecke:

Die On-the-fly Suche fällt ziemlich träge aus, bei einem Log mit mehr als 1.000.000 Einträgen

"Virtual List-View" wäre hier wohl das richtige Stichwort.

[Matze]

Version 0.5 beta

@Frederich: Dankesehr, das müsste in der aktuellen Version 0.5 beta behoben sein.

@Rolf: Danke für das Feedback.
Wie meinst du das mit der Filterung nach mehreren Spalten?
Und Logfiles mit über 1.000.000 Einträgen habe ich nicht. Das Maximum bei mir sind 137.000 Zeilen und auch da ist die Suche auch etwas träge. Ob man das groß beschleunigen kann, weiß ich nicht. Ich gucke mal, ob sich was machen lässt bzw. was im Programm so lange benötigt.

@Daniel G: Es liegt nicht an der ListView.

Grüße, Matze