Reader für Apache-Logfiles 0.9 beta

[Matze]

Hi zusammen :hi:

Um etwas Abwechslung in meinen Alltag zu bekommen habe ich mir einen kleinen Reader für Apache-Logs geschrieben. Mein Ziel war es, Logs halbwegs schnell durchsuchen zu können.

Voraussetzung:

.NET-Framework 2.0 (ob sonst noch was, weiß ich nicht *g*)

Was das Tool können soll:

- Öffnen von einem oder mehreren Logfiles und hinzufügen von weiteren Logfiles, falls bereits welche geöffnet sind
- Suchfunktion
- Möglichkeit, Einträge aus der Liste zu löschen, um die Liste als Logfile exportieren zu können (um später weiter zu arbeiten oder um Admins o.ä. bestimmtes zu zeigen)
- Drag & Drop von einer oder mehreren Dateien
- Sortierung der Liste beim Klick auf die jeweiligen Kopfzeilen
- Abbrechen der aktuellen Operation (nur bedingt getestet)
- Parameter (Öffnen der Dateien beim Ziehen auf die Exe bzw. über "Öffnen mit ..." aus dem Explorer)

Die GUI ist weitestgehend selbsterklärend. Bei Unklarheiten einfach kurz nachfragen.
Die Labels unter der Liste sind dazu da, dass die Werte eines markierten Eintrags in die Zwischenablage kopiert werden können. Das ist hilfreich, wenn man nach diesen Begriffen suchen möchte (im Tool oder im Internet).

Das Tool ist nichts Großes, aber es diente dazu, dass ich etwas lerne. ;)
Also wer Lust hat und Apachelogs besitzt oder selbst seine Logs durchstöbern möchte, kann gerne testen und Fehler melden. Natürlich sind Kritik und Anregungen ausdrücklich erwünscht.

Screenshot:



Kurz-History:

• 0.1 b (v. DP1): erste veröffentlichte Version
  0.1 b (v. DP2): Valles Spezi-Log wird unterstützt
  0.1 b (v. DP3): Parameter werden unterstützt
  0.1 b (v. DP4): Nachfragedialog mit "Append", "Replace" und "Cancel" ausgeführt
  0.2 b: Unterstützung der Standard-Logformate "Common", "Combined" und "Vhost Combined"
  0.3 b: Unterstützung der erweiterten Sucheingabe (mehrere Begriffe, Begriffe ausschließen)
  0.4 b: Bugfix: Logs mit DynDNS anstelle der IP-Adresse wurden nicht als gültig angesehen
  0.5 b: Bei bereits geöffneten Dateien erscheint der Nachfragedialog bzgl. "Append" und "Replace" nicht mehr. Anzahl der Einträge in der Statusleiste korrigiert.
  0.6 b: Suchgeschwindigkeit etwas beschleunigt. Kategoriewahl über das Suchfeld möglich (bsp. "ref=google"). Debugmodus integriert.
  0.7 b: Geschwindigkeit ggf. etwas gesteigert. Sofern keine Kategorie festgelegt wurde, wird keine Suche begonnen (sie führt zu keinem Ergebnis). Fehlerhafte Anzeige von "Log Size" in der Statusleiste korrigiert.
  0.8 b: Einlesezeit minimal verkürzt
  0.9 b: Geschwindikgeit optimiert, Icons hinzugefügt

Grüße, Matze

Edit: Fragt bitte nicht, was "Requested Piece" ist.

[Valle]

Hey,

spontan erstmal 2 Dinge.

Code:

Would you like to open the file(s) or would
you like to add them to the current list?

Wie wäre es mit Abbrechen? Ich hab nämlich versehentlich eine falsche Datei ausgewählt. *g*
Edit:// Sagmal... Was ist da jetzt eigentlich der Unterschied? :gruebel:

Code:

---------------------------

---------------------------
The logfile seems to be invalid.
---------------------------
OK   
---------------------------

Tja... isses aber leider nicht. Du weißt schon, dass der Apache Logs in unterschiedlichen Formaten schreiben kann? Wie wäre es, dieses Format einstellbar zu machen. Ich habe meines IIRC nicht geändert, d.h. es ist im Debian Standard, aber es geht ja offensichtlich doch nicht. ;-)

PS.: Ich nutze:

Code:

LogFormat "%v:%p %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" vhost_combined

Liebe Grüße,
Valle

[Matze]

Hallo Valentin,

ach da gibt es mehrere, na super. :wall:

Ich habe bisher von 4 verschiedenen Servern die Logfiles ausgelesen und alle gingen. Dann muss ich mal schauen, was der Apache so alles anbietet ...
Danke für den Hinweis.

Der Unterschied zwischen "open" und "add" sollte der sein, dass bei "open" die aktuell geöffneten Dateien entfernt und die neue Datei alleine angezeigt wird. Bei "add" wird die vorhandene Liste um die Einträge der neuen Datei ergänzt. Zumindest in der Theorie. :mrgreen:

Grüße, Matze

[Valle]

Irgendwie hab' ich diese Reaktion erwartet. :stupid:

Mit einer anderen Log-Datei geht das jetzt... Ist zwar auch ein Debian (gleiche Version), aber dort wird nur das combined Format benutzt. Wenn du willst, kannst du ja eine kleine Auswahlbox an den verschiedenen Apache Standard-Formaten machen. Hier die Liste, falls es dich interessiert.

Code:

LogFormat "%v:%p %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" vhost_combined
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common
LogFormat "%{Referer}i -> %U" referer
LogFormat "%{User-agent}i" agent

Auf den Unterschied hätte ich irgendwie auch selbst kommen können. :gruebel:
Wie wäre es statt Open und Add mit Replace und Append?

Edith:// Sagmal, was ist eigentlich "Requested Piece"?

Liebe Grüße,
Valle

[Matze]

Ich muss mal schauen, ob ich Beispiele zu den Log-Formaten finde. Dann kann ich mir das besser vorstellen.

Zitat:

Zitat von Valle

Edith:// Sagmal, was ist eigentlich "Requested Piece"?

Zitat:

Zitat von Matze

Edit: Fragt bitte nicht, was "Requested Piece" ist.

Ich habe keine Ahnung, denn bei mir ist es immer "-". :stupid:

Das hier soll es darstellen:

Zitat:

"-":
The "hyphen" in the output indicates that the requested piece of information is not available. In this case, the information that is not available is the RFC 1413 identity of the client determined by identd on the clients machine. This information is highly unreliable and should almost never be used except on tightly controlled internal networks. Apache httpd will not even attempt to determine this information unless IdentityCheck is set to On.

[Valle]

Versteh ich trotz RFC nicht. :stupid: Macht aber auch nichts.

Beispiele?

vhost_combined:

Code:

tethys.valentinvoigt.info:80 10.1.1.1 - - [20/Dec/2009:11:42:31 +0100] "GET /autoindex.css HTTP/1.0" 404 302 "http://valle.lan/.video/" "Mozilla/5.0 (Windows; U; Windows NT 6.0; de; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6 (.NET CLR 3.5.30729) FirePHP/0.3"

Im Prinzip das Gleiche, nur mit "NameDesVhosts:Port " vorne dran. ;-)

Liebe Grüße,
Valle

[Matze]

Ah danke, das ist schonmal was. Dann versuche ich zumindest mal diesen zu implementieren.

[Daniel]

Also die Logs der Delphi-Reference werden klaglos und korrekt verarbeitet. :-)
(Apache Log-Einstellung "combined" -> "LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined")

[Matze]

Hi Daniel,

super danke. Ich glaube Valle hat einfach ein Exotenformat. :stupid:

@Valle: Ich habe eine neue Version hochgeladen. Diese müsste dein Format unterstützen (das eine, nicht alle aufgezählten).

Grüße, Matze

[Valle]

Funktioniert! Super! :thumb:

Wie wäre es noch mit einer Möglichkeit, eine Datei via Paramter zu öffnen?
D.h. Log-Datei einfach auf die Exe ziehen? Ist nicht umbedingt notwendig, aber eine Idee wert.

Warum willst du eigentlich umbedingt K&T?
Ich finde das Programm hat durchaus einen guten Existenzgrund in der Freeware-Sparte. :-)

Liebe Grüße,
Valle

[Matze]

Parameter funktionieren in der aktuellen Version (s. Anhang im ersten Beitrag).

Ich dachte es gibt hier ein wildes "hier ein Bug, da ein Bug etc." und daher noch lange nicht reif, um als Freeware durchzugehen. Aber es kam doch etwas anders. Dann verschiebe ich es mal. ;)

[DP-Maintenance]

Dieses Thema wurde von "Matze" von "Klatsch und Tratsch" nach "Freeware" verschoben.

[himitsu]

Warum nur das Eine und nicht alle?
Die hängen doch alle zusammen.

Code:

[b]vhost_combined[/b] %v:%p %h %l %u %t "%r" %>s %b "%{Referer}" "%{User-Agent}"
[b]combined[/b]             %h %l %u %t "%r" %>s %b "%{Referer}" "%{User-Agent}"
[b]common[/b]               %h %l %u %t "%r" %>s %b
[b]referer[/b]                                       %{Referer}                  -> %U
[b]agent[/b]                                                      %{User-agent}

(OK, die letzen beiden Logs bieten eh nicht sooo viele Infomationen)

[Matze]

Version 0.2 beta

Ah so ist das, nun wird mir einiges klarer. Das sah oben so chaotisch aus.
Ich versuche mich mal. :-)

PS: Den Dialog habe ich nun auch wie in Beitrag #5 vorgeschlagen angepasst.

Edit: Nur aufgrund der beiden letzten Formate ist es mir nicht möglich, das Format automatisch zu erkennen.
Edit 2: Die letzten beiden Formate lasse ich vermutlich weg. Denn da kann ich auch nicht mehr prüfen, ob eine Datei ein Logfile ist, da jede Datei aus einem String besteht und somit alle Dateien geladen werden würden.
Edit 3: Die neue Version (0.2 b) unterstützt nun die Standard-Logformate "Common", "Combined" und "Vhost Combined"

[Matze]

Version 0.3 beta

Bis zu Version 0.2 beta wurde der Text im Suchfeld als einziger Begriff gewertet. Nun ist es ähnlich wie bei Google:

Sucheingaben wie google 200 zeigen alle Einträge an, die "google" und "200" beinhalten.
Sucheingaben wie google -200 zeigen alle Einträge an, die "google" enthalten und nicht "200".
Sucheingaben wie google "GET /robots.txt" zeigen alle Einträge an, die "google" und "GET /robots.txt" enthalten.

Eine ODER-Funktion ist nicht implementiert und nicht geplant (ich habe diese nie benötigt).

Grüße, Matze

[Matze]

Version 0.4 beta

Vielleicht findet sich ja der ein oder andere nette Mensch und möchte noch etwas testen. Auch wenn es momentan nicht so aussieht.

Logs, die anstelle der IP-Adresse eine DynDNS-Domain beinhalten, wurden nicht als Apache-Logs erkannt. Der Fehler ist nun behoben.

[fkerber]

Hi!

2 Kleinigkeiten bzgl. append:
Wenn man versucht, die selbe Datei, die schon geladen ist, zu appenden passiert ja nichts - ebenso ist ein replace recht "sinnlos"
Daher sollten diese Optionen vllt. nich angeboten werden.

Außerdem passt die Angabe der Log size in der Statusleiste nach einem Append nicht - es wird immer nur die Größe des letzten geladenen Logs angezeigt.


LG, Frederic

[RWarnecke]

Hallo Matze,

ich habe mir gerade mal Dein Programm angeschaut. Dabei sind mir folgende Dinge aufgefallen :

:arrow: Eine Filterung nach mehreren Spalten wäre nicht schlecht
:arrow: Die On-the-fly Suche fällt ziemlich träge aus, bei einem Log mit mehr als 1.000.000 Einträgen
:arrow: Ein kleines Programm-Icon macht optisch auch noch was her.

Aber ansonsten ein sehr gut gelungenes Programm. :thumb:

[Mithrandir]

Zitat:

Zitat von RWarnecke

:arrow: Die On-the-fly Suche fällt ziemlich träge aus, bei einem Log mit mehr als 1.000.000 Einträgen

"Virtual List-View" wäre hier wohl das richtige Stichwort. :stupid:

[Matze]

Version 0.5 beta

@Frederich: Dankesehr, das müsste in der aktuellen Version 0.5 beta behoben sein.

@Rolf: Danke für das Feedback.
Wie meinst du das mit der Filterung nach mehreren Spalten?
Und Logfiles mit über 1.000.000 Einträgen habe ich nicht. Das Maximum bei mir sind 137.000 Zeilen und auch da ist die Suche auch etwas träge. Ob man das groß beschleunigen kann, weiß ich nicht. Ich gucke mal, ob sich was machen lässt bzw. was im Programm so lange benötigt.

@Daniel G: Es liegt nicht an der ListView. ;)

Grüße, Matze

[RWarnecke]

Zitat:

Zitat von Matze

@Rolf: Danke für das Feedback.
Wie meinst du das mit der Filterung nach mehreren Spalten?

Wenn ich zum Beispiel wissen will, wie oft eine Datei heruntergeladen wurde. Dann suche ich nach der Datei und dem Status 200. Eine andere Variante wäre, wenn ich Seiten von der URL her umstelle, wie oft welche noch auf die alte Seite zugreifen.

Zitat:

Zitat von Matze

Und Logfiles mit über 1.000.000 Einträgen habe ich nicht. Das Maximum bei mir sind 137.000 Zeilen und auch da ist die Suche auch etwas träge. Ob man das groß beschleunigen kann, weiß ich nicht. Ich gucke mal, ob sich was machen lässt bzw. was im Programm so lange benötigt.

@Daniel G: Es liegt nicht an der ListView. ;)

Benutzt Du die einfache ListView oder die Virtual ListView ? Wenn ich die Virtual ListView richtig verstanden habe, dann arbeiten die etwas anderst als die normale ListView. Bei der Virtual ListView spielt sich mehr im Speicher ab, sofern ich das verstanden habe. Wenn das so ist, dann bin ich der Meinung, dass Du damit besser fährst.

[Matze]

Zitat:

Zitat von RWarnecke

Wenn ich zum Beispiel wissen will, wie oft eine Datei heruntergeladen wurde. Dann suche ich nach der Datei und dem Status 200. Eine andere Variante wäre, wenn ich Seiten von der URL her umstelle, wie oft welche noch auf die alte Seite zugreifen.

Da kannst du doch dann einfach nach der alten Domain suchen, oder nicht?

Zitat:

Zitat von RWarnecke

Benutzt Du die einfache ListView oder die Virtual ListView ? Wenn ich die Virtual ListView richtig verstanden habe, dann arbeiten die etwas anderst als die normale ListView. Bei der Virtual ListView spielt sich mehr im Speicher ab, sofern ich das verstanden habe. Wenn das so ist, dann bin ich der Meinung, dass Du damit besser fährst.

Jupp, das nutze ich bereits. Die ListView zeigt nur das an, was auch tatsächlich sichtbar ist.

Wärst du so nett und könntest dir bitte mal die Debug-Version aus dem 1. Beitrag herunterladen?
Damit kannst du dann das große Logfile einlesen, einen Suchvorgang starten und dann so lange warten, bis das Suchergebnis erscheint. Anschließend auf den Button "Save Debug ..." klicken und mir die Textdatei zukommen lassen. ;)
Dann bekomme ich eine Vorstellung, in welcher Größenordnung die ganzen Zeiten bei dir liegen. Ich hoffe, die Debug-Version funktioniert.

[RWarnecke]

Zitat:

Zitat von Matze

Zitat:

Zitat von RWarnecke

Wenn ich zum Beispiel wissen will, wie oft eine Datei heruntergeladen wurde. Dann suche ich nach der Datei und dem Status 200. Eine andere Variante wäre, wenn ich Seiten von der URL her umstelle, wie oft welche noch auf die alte Seite zugreifen.

Da kannst du doch dann einfach nach der alten Domain suchen, oder nicht?

Das mit der Domain war vielleicht ein schlechtes Beispiel. Aber für die Downloads wäre es nicht schlecht.

Zitat:

Zitat von Matze

Zitat:

Zitat von RWarnecke

Benutzt Du die einfache ListView oder die Virtual ListView ? Wenn ich die Virtual ListView richtig verstanden habe, dann arbeiten die etwas anderst als die normale ListView. Bei der Virtual ListView spielt sich mehr im Speicher ab, sofern ich das verstanden habe. Wenn das so ist, dann bin ich der Meinung, dass Du damit besser fährst.

Jupp, das nutze ich bereits. Die ListView zeigt nur das an, was auch tatsächlich sichtbar ist.

Wärst du so nett und könntest dir bitte mal die Debug-Version aus dem 1. Beitrag herunterladen?
Damit kannst du dann das große Logfile einlesen, einen Suchvorgang starten und dann so lange warten, bis das Suchergebnis erscheint. Anschließend auf den Button "Save Debug ..." klicken und mir die Textdatei zukommen lassen. ;)
Dann bekomme ich eine Vorstellung, in welcher Größenordnung die ganzen Zeiten bei dir liegen. Ich hoffe, die Debug-Version funktioniert.

[/quote]Werde wir gleich wissen.

Edit : Im Anhang das Debug-Log. Die Apache LOG-Datei hat etwas über 1,1 Mio. Einträge

[Matze]

Hallo Rolf,

dankeschön. Ich habe nun mit Interfaces experimentiert (Danke @Frederic). Theoretisch müsste die Suche nun schneller sein, wenn man nicht alle Kategorien in die Suche miteinbezieht. Also wenn man beispielsweise nur nach "Referer" und "IP" sucht. Standardmäßig sind daher auch nicht mehr alle Kategorien ausgewählt. Faul wie der Mensch ist, würde er sonst meist alle ausgewählt lassen und das geht natürlich zu Lasten der Suchzeit. ;)
Ich habe eine neue Debug-Version im ersten Beitrag angehängt. Wenn du Zeit und Lust hast, kannst du gerne mal schauen, ob du eine Performance-Steigerung feststellst.
Ich glaube jedoch, dass die Stringvergleiche die meiste Zeit in Anspruch nehmen und muss mal gucken, ob ich das irgendwie schneller machen kann.

An einer neuen Sucheingabe, die Eingaben wie "ref=google ua=ie" unterstützt, arbeite ich gerade. Im Beispiel soll der Referer nach "google" durchsucht werden und der UserAgent nach "ie". Ich hoffe das ist das, was du gemeint hast.

Grüße, Matze

[RWarnecke]

Hallo Matze,

im Anhang das neue Debug-File. Einige Werte haben sich verbessert und andere sind schlechter geworden. Die gefühlte Zeit hat sich allerdings nicht geändert. Gesucht habe ich wieder in dem gleichen File und mit den gleichen Optionen, damit hast Du auf jedenfall eine Referenz.

[Micha88]

Kleine Verbesserung:

Wenn noch kein File geladen wurde, würde ich die Anklickbaren Controls Disablen.

Ab und an bekomm ich eine Exception bei der Suche.
Wann genau, keine Ahnung. Konnte sie bisher nicht rekonstruieren.

Aja, in welcher Sprache ist das geschrieben?
Aber nicht Delphi, oder ?

[Matze]

Version 0.6 beta

Hallo,

@Rolf: Super, danke. Mal sehen, wie ich das weiter optimieren kann (in der 0.6 beta ist das noch unverändert). Das ist gar nicht so einfach.
@Michael: Deinen Vorschlag habe ich umgesetzt und eine neue Version hochgeladen, bei der zusätzlich die Suche überarbeitet wurde. Ich konnte dabei keine AV erzeugen (Sprache ist C#).

Die 0.6 beta bietet nun die Möglichkeit, auch über das Eingabefeld die Kategorien einem einzelnen Suchbegriff zuzuweisen. Die Kategoriekurznamen sind momentan grau hinter die CheckBoxen geschrieben.

Es gibt nun folgende Suchmöglichkeiten:

Suchstring: google ie
Alle angehakten Kategorien werden nach den Begriffen "google" und "ie" durchsucht. Sind beide Begriffe enthalten, handelt es sich um einen Treffer.

Suchstring: google -ie
Alle angehakten Kategorien werden nach den Begriffen "google" und "ie" durchsucht. Ist "google" enthalten und "ie" nicht, handelt es sich um einen Treffer.

Suchstring: google "ie browser"
Alle angehakten Kategorien werden nach den Begriffen "google" und "ie browser" durchsucht. Ist "google" enthalten und "ie browser" (in genau dieser Kombination) ebenfalls, handelt es sich um einen Treffer.

Suchstring: ref=google
Unabhängig davon, welche Kategorien gewählt sind, wird die Kategorie "Referer" nach "google" durchsucht. Wird es gefunden, handelt es sich um einen Treffer.

Suchstring: ref=google ua=-gecko
Unabhängig davon, welche Kategorien gewählt sind, wird die Kategorie "Referer" nach "google" durchsucht und "User Agent" nach "gecko". Ist "google" in "Referer" enthalten und "gecko" nicht im "User Agent", handelt es sich um einen Treffer.

Die Möglichkeiten lassen sich beliebig kombinieren. Wie buggy das Ganze ist, kann ich an dieser Stelle noch nicht sagen. :stupid:

[Matze]

Version 0.8 beta

Ich habe nun versucht, die Einlesezeit noch etwas zu verkürzen und verzichte weitestgehend auf String-Suchfunktionen. Deutliche Performancesteigerungen bekomme ich jedoch nicht hin. Entweder übersehe ich etwas oder .NET stößt hier an seine Grenzen. :gruebel:

[Matze]

Version 0.9 beta

Sodele, ich habe nun so eine Art wuppdi-power® eingebaut. :mrgreen:

Sowohl das Einlesen als auch das Suchen sollte nun schneller gehen. Der Debug-Modus ist standardmäßig deaktiviert, damit man das ganze ohne Zeitmessung (und somit performanter) testen kann.
Zusätzlich werden die Einträge je nach Statuscode mit einem Icon versehen (404-Fehler beispielsweise rot). Dann sieht man auf den ersten Blick, wo kritische Fehler aufgetreten sind.

@Rolf: Wenn du nochmal so lieb wärst und mir sagen kannst, ob es auch bei dir gefühlsmäßig schneller geworden ist.
@alle anderen: Ihr könnte auch gerne testen!

PS: Was kommt eigentlich nach der 0.9 beta? Die 0.10 beta oder 1.0 beta? Aber 1.0 ist eigentlich keine Beta-Version mehr. :gruebel: (Nein Larsi, eine Versionierung wie "0.1 Alpha 27" mache ich nicht. :stupid: )

Grüße, Matze

[RWarnecke]

Hallo Matze,

jetzt ist gefühlsmäßig auf jedenfall eine Steigerung drin. Nur was ich nicht ganz verstehe ist, dass Dein Programm beim Einlesen der Datei mir einmal ganz kurz "Keine Rückmeldung" angezeigt hat. Die Suche funktioniert auf einmal richtig schnell. Aber irgendwas musste dran geändert haben, da auf einmal doppelt soviele Ergebnisse erscheinen. Erst hatte ich so etwa um die 65.000 Ergebnisse und jetzt liege ich bei etwas über 140.000 Ergebnisse. Aber wenn es stimmt, bin ich damit zufrieden.

[Matze]

Hallo Rolf,

danke für deine Rückmeldung!
Ich prüfe das mit den Suchergebnissen und dem Rückmeldungsfehler, denn das ist seltsam. Beim Einlesen aktualisiere ist die Progressbar unten beispielsweise nur noch alle 5000 Einträge und nicht mehr bei jedem. Vielleicht ist der Zeitraum zu lange, sodass Windows hier teilweise einen Rückmeldungsfehler anzeigt. Wobei das in einem Thread abläuft und mir daher unverständlich ist.
Naja ich schau's mir mal an.

Grüße, Matze