Filedup 1.0.7.0 - Identische Dateien finden

[calculon]

Zitat von bigg:

Dann hat das Programm richtige Ergebnisse geliefert?

Ja, das hat es!
Wie gesagt dachte ich zunächst, dass die zwölf Dateien sich nur ähnlich sind, weil die JPGs nur eine "Tiefe" von 0.6 mm haben. Aber ich hatte es nicht überprüft. Bei näherer Untersuchung hat sich dann herausgestellt, dass sie alle einfach identisch schwarz sind. Wieso das so ist, weiß ich auch nicht. Aber das zeigt, dass "Filedup" auch solche Phänomene entdecken kann.

Gruß

Calculon
--

[toms]

Zitat von xZise:

Vorschlag: Einen pausieren Möglichkeit

wäre auch dafür!

[idontwantaname]

Hab auch gerade dein Programm getestet und ich muss schon sagen: echt super gelungen

Hattet ihr schon mal in 51.377 Dateien 18.145 Duplikate?

[yankee]

Soweit ich das sehe verwendest du keine Threads...

Wenn du mehrere Dateien gleichzeitig in Threads analysieren würdest, könntest du bestimmt nochwas mehr Geschwindigkeit aus dem prog rausholen.
Besonders Leute mit Hyperthreading oder MultiCore-CPUs dürften einen kräftigen Performancegewinn erwarten, aber auch mit anderen CPUs daürfte es schneller laufen... Zumindest etwas.

[himitsu]

mehrere Dateien gleichzeitig bring in diesem Fall kaum etwas, da der Flaschenhals ja bei der Festplatte liegt und wenn dort dann an nochmehr Stellen gleichzeitig gearbeitet wird, dann wird eher alles noch Langsamer, wegen dem vielen Hinunhergespringe http://fnse.de/S05/1OC.gif

Ach ja ... bei wenigen Dateien und kleinen Datenmengen ist dein Programm zusammen mit der FileCache natürlich recht "schnell", aber bei besonders vielen und/oder großen Dateien wird die WindowsFileCache schon mal recht schnell überlastet und beginnt dramatisch dat Programm auszubremsen, weßhalb dort NonCached von Vorteil ist.

PS: darum sind ja eigentlich die CPU-Angaben recht uninteresant (die CPU-Last des Programms ist eh recht gering ... war bei der ersten Version ja noch nicht so ... hatte sie gerade nochmal mit im Vergleich )

http://fnse.de/S05/1O7.gif



PSS:
mein kleines Vergleichsprojektchen, welches sich jetzt am 3. Entwicklungstag dem Ende meiner Aufmerksamkeit entgegensieht, schaut nun so aus ... jetzt auch mit SourceCode

- mehrere Suchverzeichnisse möglich (einfach mit * trennen)
- Drag&Drop (auch mit mehreren Verzeichnissen)
- unicodefähig (wenn TEdit und TLabel entsprechend ersetzt werden)

- DIE CHECKBOX... (bevor sich wer wundert)
Damit wird das "ECHTE" Löschen der Dateien übergangen.
Die Dateien werden also nur in der List gelöscht und nicht in Echt, wenn da ein Häckchen ist.


Der 2. Hash (TopHash) ... früher (wenn man gestern so nennen darf) mal der Hash der kompletten Datei (FullHash) ... kann mit folgenden 2 Zeilen übergangen werden.
(eventuell wird er eh bald komplett entfernt)

Delphi-Quellcode:

// mit zweitem Hash
Function GetTopHash(Dir: Integer; Const Name: WideString): TCRC32o;
  ...

  Begin
    D := '';

// OHNE zweiten Hash
Function GetTopHash(Dir: Integer; Const Name: WideString): TCRC32o;
  ...

  Begin
Result := $12345678;
Exit;
    D := '';

[xZise]

Vorschlag (wenn es himitsu zulässt ):
Mache während er sucht eine "Schafanimation" Oder du lässt eine Lupe über das Schaf kreisen

Aber trotzdem muss ich sagen: Das Desgin des Programms wirkt sehr "fachmännisch"

[edit]Ich konnts net lassen Und ich habe jetzt mit dem Schaf und einer Googlelupe, das ultimative "SchafSearch"-Bild erstellt
Ich habe es mit GIMP erstellt. Ich stelle hier mal folgende Varianten vor:

• Große Animation (400 x 400px) in Gif
• Kleine Animation (40 x 40 px) in Gif
• Die große Animation in .xcf (Gimp-Format) in 3 Variantionen
  • Nur das Schaf
  • Animation mit je 2 verschiedenen Ebenen pro Frame
  • Animation mit einer Ebene pro Frame = Endprodukt

[yankee]

Zitat von himitsu:

~480.000 Dateien (mit irgendwas über 130 GB)
WinXP SP2 Athlon64 3000+
nach 2,5 Stunden bei etwa 20% abgebrochen

ääähhhmmm...
333.337 Dateien,
~216 GB
Win2k SP4 Rollup1
2x250 GB HDD, Raid 0
Bei 25% Bin ich bei ca. 17 Minuten und 30 Sekunden...

Zitat von himitsu:

mehrere Dateien gleichzeitig bring in diesem Fall kaum etwas, da der Flaschenhals ja bei der Festplatte liegt und wenn dort dann an nochmehr Stellen gleichzeitig gearbeitet wird, dann wird eher alles noch Langsamer, wegen dem vielen Hinunhergespringe

Stimmt wohl... .

Aber apropos... FindAllFiles ist sehr langsam...
Der FileScavenger braucht nur 12 Sekunden um von meinen Platten alle Dateien in eine Liste zu schmeissen. Und das bei wenig gerödele.
Und FileDub braucht *mess* ... .. moment.... das hat doch eben viel länger gedauert. Kann doch nicht sein, dass der jetzt in 6 Sekunden fertig ist... Und das fast ohne auf die Festplatte zuzugreifen??? Wie kann das denn jetzt sein? Mal abgesehen davon findet der jetzt auf einemal mehr als 200 Dateien mehr (wo kommen die denn her?).

Also eigentlich wollte ich nur sagen, dass es bestimmt schneller geht direkt auf der Festplatte zu suchen statt die WinAPI zu nehmen. Allerdings weiss ich natürlich nicht, wie einfach sowas ist, und wenn man nur in einem Verzeichnis, statt auf der ganzen Platte sucht, ist das wahrscheinlich sowieso wieder hinfällig...

P.S.: Kannst du die Einstellungen noch woanders als in der Registry speichern? Das ist echt total unnötig, dass da so ein programm, welches man alle Jubeljahre mal verwendet seine Fenstergrösse 24/7 im RAM hat...
Bei Programmen, die ich häufiger nutze sehe ich das genauso, aber bei sowas kleinem ganz besonders...
Ausserdem solltest du dann wneigstens einen uninstaller mitbringen, der die Einträge wieder löscht...

[bigg]

moin moin,

Zitat von yankee:

Aber apropos... FindAllFiles ist sehr langsam...
Der FileScavenger braucht nur 12 Sekunden um von meinen Platten alle Dateien in eine Liste zu schmeissen. Und das bei wenig gerödele.
Und FileDub braucht *mess* ... .. moment.... das hat doch eben viel länger gedauert. Kann doch nicht sein, dass der jetzt in 6 Sekunden fertig ist... Und das fast ohne auf die Festplatte zuzugreifen??? Wie kann das denn jetzt sein? Mal abgesehen davon findet der jetzt auf einemal mehr als 200 Dateien mehr (wo kommen die denn her?).

kann schon sein, das es schneller ist. Es könnte auch gut möglich sein, das das von dir genannte Tool die Dateizuordnungstabellen ausliest, und somit natürlich schneller wäre. Das die Ergebnisse so unterschiedlich ausfallen, liegt vermutlich am Cache von XP. Wenn die gefundenen Daten schon im Cache liegen, gehts natürlich wesentlich schneller. Um es richtig zu testen, müßtest du Windows mal runterfahren und beide Programme unabhängig von einander testen.

Zum Thema Threads:

Zitat von yankee:

Soweit ich das sehe verwendest du keine Threads...

Doch, ob du's glaubst oder nicht ich verwende wirklich Threads, aber nur den Hauptthread der Anwendung.
Außerdem hat himitsu schon alles weitere gesagt...

Zum Thema Registry:
Ich werde noch eine Funktion integrieren, die beim ersten Start von Filedup fragt, wohin die Einstellungen gespeichert werden sollen oder einen Parameter anbieten, der die Lade- und Speicherfunktionen überspringt, mal schaun, was da besser ist.

@XZise:
Hab mir die Bilder angesehen, ist schon abgefahren das ganze..., wenn ihr mir garantieren könnt, das mir dafür niemand die tür einrennt, baue ich es selbstverständlich ein.

@dj_base: Ich arbeite schon seit Anfang Dezember 2006 an einer echten 2ten Version von Codepad, die dann auch Unicode unterstützen wird.

PS: Päuschen und Exportoptionen sind schon fast anwendungstauglich, denke das ich es heute noch hochstelle...

[xZise]

Wäre es möglich, dass man das Programm beendet, und nach einen neuen Start "weitersucht"?

Weil beim ersten mal musste ich es abbrechen, weil es zu lange dauerte

PS: Wie überprüfst du eigentlich nach doubletten? Ich hoffe doch zuerst die Dateigröße ;D

[bigg]

So, eine neue Version ist oben, die die folgenden Änderungen beinhaltet:

1.0.4.0
- Pause-Schaltfläche der Statusanzeige hinzugefügt
- Formular 'Optionen' unter Ansicht abrufbar
- Optionen für den Export integriert
- Einstellungen können dauerhaft gesichert werden

Zitat von XZise:

Wäre es möglich, dass man das Programm beendet, und nach einen neuen Start "weitersucht"?

Jupp, wäre möglich, dennoch fehlt mir im Moment die Zeit und Lust. Viel wichtiger wäre es, den Suchprozess zu optimieren, dann könnte man sich das gleich sparen.^^

Zitat von XZise:

PS: Wie überprüfst du eigentlich nach doubletten? Ich hoffe doch zuerst die Dateigröße ;D

Da müsste ich erst im Quelltext blättern, und nen bissle suchen.