DupeChecker - Duplikate im Source finden v1.3.5

[RavenIV]

Zitat von Union:

Das geht auch, allerdings nur wenn über die Cursortasten gescrollt wird.

Wäre auch super, wenn das mit dem Mausrad sysnchon scrollen würde.

[Union]

Hallo alle,
es ist eine neue Version 1.3.3 verfügbar mit einigen neuen Optionen (hat leider nichts mit dem Scrollen zu tun ), siehe editiertes Originalposting.

[RavenIV]

Ein Menu mit den wichtigsten Funktionen wäre auch noch ne tolle Sache.

Und ein Hilfe-Fenster fehlt auch.

[Union]

Das ist eine gute Idee für die Zukunft. Bis dahin muss es das Readme tun. Und die Hauptoperationen bestehen im Drücken des Readbuttonns sowie einem Doppelclick auf einer ausgewählten Zeile...

[RavenIV]

Die verschiedenen Einstellungen in der ini könntest Du auch in ein Optionen-Fenster packen.

[Motzi]

Erst einmal - super Idee!! Ich bin vor einiger Zeit zufällig auf dieses Programm gestoßen weil ich genau so etwas gesucht habe, da ich ein Projekt übernommen hab dessen Code in einem katastrophalen Zustand ist und etliche Duplikate enthält.
Es gibt aus meiner Sicht jedoch auch ein paar Sachen zu bemängeln.

Positiv:

• Sehr schnell bei der Duplikatsuche (nur die Visualisierung dauert ein bisschen lange)

Negativ:

• Ich finde die Aufbereitung nicht unbedingt optimal
• Wenn gleiche Codeschnipsel unterschiedliche Kommentare haben, werden sie als unterschiedlich bewertet
• Unterschiede in der Formatierung werden ebenfalls nicht berücksichtigt

Ich hab deswegen angefangen ein ähnliches Programm zu schreiben das diese Punkte berücksichtigt. Vielleicht werd ich das in den nächsten Tagen auch mal hier präsentieren.

Gruß, Motzi

PS: unter Umständen könnten wir ja auch Ideen austauschen und zusammenarbeiten.

[Union]

Zitat von Motzi:

Positiv:

• Sehr schnell bei der Duplikatsuche

Ich habe eine spezielle "Memory-Dataset" Klasse verwendet, die auf den Anwendungsfall hin optimiert und indiziert ist. Das könnte sogar noch doppelt so schnell werden, denn die meiste Zeit wird für den Progressevent verbraten (hab's allerdings nicht gemessen).

Zitat von Motzi:

Negativ:

• Ich finde die Aufbereitung nicht unbedingt optimal
• Wenn gleiche Codeschnipsel unterschiedliche Kommentare haben, werden sie als unterschiedlich bewertet
• Unterschiede in der Formatierung werden ebenfalls nicht berücksichtigt

Das Programm sollte ja auch hoffentlich nicht ständig eingesetzt werden. Man sollte damit einen Einstiegspunkt zum Refactoring finden. Die Kommentare ganz zu ignorieren birgt ja auch Gefahren in sich, z.b. wenn man doppelten Sourcecode absichtlich zur Performancesteigerung eingesetzt hat (inlining).
Die einzigen Anpassungen die stattfinden, sind Entfernen aller Leerzeichen und die Umwandlung in Uppercase jeder Zeile. Diese Strings werden gehashed und nur die Hashs werden dann bei der Analyse verglichen, deshalb auch der Speed. Das kann man natürlich anpassen (z.b. Entfernung von Tabs).

[Motzi]

Hallo,

wie angekündigt hab ich mein Programm jetzt ebenfalls vorgestellt: DoubleSource

Bei meinem Programm werden Kommentare während des Preprocessings komplett rausgelöscht und unterschiedliche Formatierungen durch Leerzeichen oder Tabs normalisiert. Ich verwende zur Anzeige den VirtualTreeview wodurch die Visualisierung sehr schnell geht - kann ich dir nur empfehlen!

Ich hab meine Routine zur Duplikatssuche selbst geschrieben, anfangs sehr naiv (brauchte in etwa so lang wie deine erste Version) und hab sie dann Stück für Stück immer weiter verbessert bis ich sie jetzt soweit optimiert habe, dass sie sogar schneller ist als deine. *stolzbin* Allerdings hab ich (noch) keine Progressbar drinnen, also ist der Vergleich nicht ganz fair.

Würd mich freuen wenn du es dir mal anschaust und einen Kommentar abgibst!

Gruß, Motzi

[angos]

Hallo Union,

erstmal schließ ich mich dem allgmeinen Thread-Hype an: sehr gute Idee das ganze

Super wären jetzt folgende Funktionen:
- Standardansicht einstellbar oder fest auf Hierarchisch
- So wie bei Motzis Tool wäre es super wenn die Minimum-Lines zur Laufzeit geändert werden können
- Eine Option, durch welche nur eine Datei gescannt werden kann (das Scannen eines gesamten Projektes sollte aber beibehalten
werden)

Super wären dann noch die "Königsfunktionen" (ziemlich aufwändig):
- Erzeugen von Funktionen/Prozeduren der Codeteile auf Klick unter berücksichtigung der Übergabe von lokalen variablen
- Auto-Codeupdate nach dem Erzeugen der Funktionen. Also: Es werden die Funktionen implementiert, und der Restsource angepasst.


Nicht wichtig aber nice-to-have:
- Eine schönere gui mit zB einstellungsmöglichkeiten, welche sonst über die ini geschaltet werden müssten.

Gruß
Ansgar

[Union]

Hallo Angos,

Zitat:

Standardansicht einstellbar oder fest auf Hierarchisch

meinst Du damit, dass die GUI-Tab-Seite gespeichert und wiederhergestellt werden soll?

Zitat:

So wie bei Motzis Tool wäre es super wenn die Minimum-Lines zur Laufzeit geändert werden können

Das ist natürlich möglich, aber durch das Klassen-Design etwas unangenehm zu realisieren. Denn bei mir ist MinLines eine Eigenschaft der Analyseklasse und nicht der GUI. Soll heissen, man könnte zwar den Filter in der GUI nach oben setzen, aber nicht unter den beim Analysieren gesetzten Wert. Duplikate kleiner als der Grenzwert werden nämlich erst gar nicht in die Struktur aufgenommen (Hauptspeicher).

Zitat:

Eine Option, durch welche nur eine Datei gescannt werden kann (das Scannen eines gesamten Projektes sollte aber beibehalten

Das ist am einfachsten zu realisieren und eine gute Idee.
Für die "Königsfunktionen" sollte man lieber D2007 verwenden, da hat sich CG schon ein paar Mannjahre daran versucht und es funktioniert ganz gut.

Zitat:

Eine schönere gui

Da bin ich wirklich nicht gut drin, ich setze immer auf einfachste Standards. Mach doch mal konkrete Vorschläge. Und welche Einstellungsmöglichkeiten meinst Du? Momentan gibt es ja nur:

Code:

[Config]
Path=c:\temp\test
StartLine=IMPLEMENTATION
MinLines=4
Indexed=1

Der Rest wird ja automatisch erzeugt durch Größenänderungen und das Systemmenü:

Code:

frmAnalyse.Font.Name=MS Sans Serif
frmAnalyse.Font.Size=8
frmAnalyse.Width=650
frmAnalyse.Height=531
frmAnalyse.pnlMemo.Left=1
frmAnalyse.pnlMemo.Top=259
frmAnalyse.pnlMemo.Width=640
frmAnalyse.pnlMemo.Height=204
frmAnalyse.lvDupe.Columns[0].Width=242
frmAnalyse.lvDupe.Columns[1].Width=184
frmAnalyse.lvDupe.Columns[2].Width=50
frmAnalyse.lvDupe.Columns[3].Width=50
frmAnalyse.lvDupe.Columns[4].Width=50
frmAnalyse.lvDupe.Columns[5].Width=50
frmAnalyse.lvDupe.Columns[6].Width=50
frmAnalyse.tvDupe.Columns[0].Width=400
frmAnalyse.tvDupe.Columns[1].Width=100
frmAnalyse.tvDupe.Columns[2].Width=100
frmAnalyse.Left=360
frmAnalyse.Top=236
frmEdit.Left=328
frmEdit.Top=291
frmEdit.Width=714
frmEdit.Height=420
frmEdit.pnlSource.Left=0
frmEdit.pnlSource.Top=0
frmEdit.pnlSource.Width=334
frmEdit.pnlSource.Height=386