Schnelle Methode, um eine Dateiliste zu erstellen

[DieDolly]

Vielleicht erst ein kleiner Hintergrund.
Ich habe früher mal anhand zweiter StringListen, die gefüllt sein können aber nicht müssen, eine weitere Liste erstellen lassen (eine Dateiliste).
Die eine StringListe enthielt (kann, muss nicht) Pfade, die unbedingt vom Such-Algorithmus (bei mir damals FindFirst, FindNext) in der neuen Dateiliste aufgenommen werden sollen. Die zweite StringListe enthielt Pfade, die in keinem Fall in der Dateiliste aufgenommen werden sollen.

Beispiele:
- war die erste StringListe gefüllt, wurden auch nur diese Pfade in der neuen Dateiliste aufgenommen.
- war die zweite gefüllt, wurden alle außer die in der Liste in die Dateiliste aufgenommen.

Basierend auf einem Verzeichnis "E:\": diese StringListen können beispielsweise enthalten
- Dateien
- Arbeit
- Freizeit\Fotos

Im o.g. Beispiel würden nur die Verzeichnisse "Dateien", "Arbeit" und "Freizeit\Fotos" in die neue Dateiliste übernommen (erste Liste)
ODER
alle außer genau die oben genannten (zweite Liste).


Meine vorgehensweise damals war in etwa so:
- FindFirst/FindNext-Procedure (in sich selbst aufrufend, wegen der Unterverzeichnisse)
-- jede Datei, jedes Verzeichnis das gefunden wird durch eine Funktion laufen lassen, die eine Schleife durchläuft und die StringListe prüft.
Und irgendwie habe ich beide Listen in das ganze Ding reingepackt mit if's und else's und viel zu kompliziert.


Wie realisiert man sowas mit D10.3.3 am besten? Ich habe leider keinen Code mehr davon. Ich weiß nur noch, dass das mit StringListen-Abgleich mindestens um den Faktor 10 langsamer war als ohne.

[TurboMagic]

Naja, du könntest mal anschauen was IOUtils so alles bietet.
Zum Beispiel TPath...

[Uwe Raabe]

Die Anforderungen sind aber noch nicht vollständig definiert, oder?

Was soll passieren, wenn beide Listen gefüllt sind?
Welche Liste hat Vorrang, wenn die Listen sich widersprechen?

[DieDolly]

Zitat:

Was soll passieren, wenn beide Listen gefüllt sind?

Beide Listen können nie zeitgleich gefüllt sein.

Ist die erste Liste gefüllt, wird die zweite gar nicht erst befüllt und kann ignoriert werden.
Wie das andersherum aussieht, muss ich noch überlegen.

Die erste Liste soll ausschließlich ihre Einträge vergleichen und Funde in eine Dateiliste schreiben.
Die zweite Liste soll ihre Einträge vergleichen und Funde sollen nicht zur Dateiliste hinzugefügt werden.

[KodeZwerg]

Das mit den verschiedenen Listen habe ich noch nicht so ganz verstanden, jedenfalls finde ich die schnellste Methode es über PItemIdList zu Lösen. Es ist gleichzeitig nicht die einfachste Möglichkeit da mehr Code benötigt wird.

In der Paxis kannst Du es testen indem Du mal TotalCommander (Shareware Datei-Manager) installierst und in ein Verzeichnis mit Tausenden von Dateien lotst.
Gegenüber FindFirst() ist das der Ferrari

In Kombination mit einem Verzeichnis-Monitor wirst du eventuell gar keine zwei Listen benötigen sondern einfach PIDLs sich selbst aktualisieren lassen.

Es gab mal eine VirtualShellView Demo von Borland um sich damit anzufreunden.

Vielleicht liege ich auch total daneben, dann tut es mir leid.

[DieDolly]

Zitat von KodeZwerg:

Das mit den verschiedenen Listen habe ich noch nicht so ganz verstanden

Halb-zitiert von mir:
Diese StringListen können beispielsweise nach einer Eingabe diesen Inhalt haben
- Dateien
- Arbeit
- Freizeit\Fotos

Wenn das da oben in der ersten Liste steht: nur die Verzeichnisse "Dateien", "Arbeit" und "Freizeit\Fotos" würden in die neue Dateiliste übernommen
ODER
wenn das in der zweiten Liste streht: alle außer genau die oben genannten werden in die neu Dateiliste übernommen.

Also quasi "Füge nur diese Dateien (wenn gefunden) in die Dateiliste ein (erste Liste)
oder
füge alle Dateien außer die oben (wenn gefunden) in die Dateiliste ein (zweite Liste).

[Uwe Raabe]

Wenn ich also mal das Beispiel deines Eingangsposts nehme:

Zitat:

Basierend auf einem Verzeichnis "E:\": diese StringListen können beispielsweise enthalten
- Dateien
- Arbeit
- Freizeit\Fotos

Dann könnte man die Liste so aussehen:

Zitat:

Dateien
Arbeit
Freizeit\Fotos
*.jpg
*.bmp

und das würde dann alle jpg- und bmp-Dateien in den drei genannten Verzeichnissen samt ihrer Unterverzeichnisse aufgelistet?

[DieDolly]

Das ist jetzt eine gute Frage.
Vielleicht eher so, damit die Wildcards ans Verzeichnis gebunden sind

Zitat:

Dateien
Arbeit
Freizeit\Fotos\*.jpg

Dateien, Arbeit: das komplette Verzeichnis wird verarbeitet
Freizeit\Fotos\*.jpg: nur jpg-Dateien in Freizeit\Fotos.

So könnte das auch aussehen (Dateien: nur pas-Dateien, Arbeit: komplett, Freizeit\Fotos komplett)

Zitat:

Dateien\*.pas
Arbeit
Freizeit\Fotos

Oder so (Dateien, Arbeit und Freizeit\Fotos: komplett)

Zitat:

Dateien
Arbeit
Freizeit\Fotos

Oder so (Dateien, Arbeit und Freizeit\Fotos: das würde mit PathMatchSpecW nur Dateien durchlassen, die mit "img" anfangen, danach "ein beliebiger Buchstabe oder Zahl")

Zitat:

Dateien
Arbeit
Freizeit\Fotos\img?.txt

[Uwe Raabe]

Bei dem Exclude-Fall müsste man unterscheiden, ob lediglich ein Verzeichnis angegeben ist oder ein Verzeichnis mit Wildcards. Im ersten Fall kann man das Verzeichnis überspringen (das macht mein erster Vorschlag), aber im zweiten Fall muss das Verzeichnis gescannt und die entsprechenden Einträge ausgefiltert werden.

Um das besser kontrollieren zu können, würde ich die LstExclude in zwei Listen LstExcludeDirs und LstExcludeFiles aufsplitten. Hier nochmal ein etwas komplexerer Ansatz (mit kleiner Optimierung beim Checken der Excludes) - ungetestet:

Delphi-Quellcode:

procedure ListFiles(const Root: string; LstInclude, LstExclude, Target: TStrings);

  function Matches(const Value: String; const Arr: TArray<string>): Boolean;
  var
    foundIndex: Integer;
  begin
    Result := TArray.BinarySearch<string>(Arr, Value, foundIndex, TIStringComparer.Ordinal);
    if not Result and (foundIndex > 0) then
      Result := Value.StartsWith(Arr[foundIndex-1], True);
  end;

var
  arr: TArray<string>;
  lstExcludeDirs: TStringList;
  lstExcludeFiles: TStringList;
  mask: string;
  path: string;
  S: string;
begin
  if (LstInclude <> nil) and (LstInclude.Count > 0) then begin { Includes vorhanden? }
    for S in LstInclude do begin
      path := TPath.Combine(Root, S);
      mask := '*.*';
      if path.Contains('*') or path.Contains('?') then begin
        mask := TPath.GetFileName(path);
        path := TPath.GetDirectoryName(path);
      end;
      Target.AddStrings(TDirectory.GetFiles(path, mask, TSearchOption.soAllDirectories));
    end;
  end
  else if (LstExclude <> nil) and (LstExclude.Count > 0) then begin { Excludes vorhanden? }
    lstExcludeDirs := TStringList.Create;
    try
      lstExcludeFiles := TStringList.Create;
      try
        for S in LstExclude do begin
          path := S;
          if path.Contains('*') or path.Contains('?') then begin
            LstExcludeFiles.Add(path);
            { damit der Pfad erstmal excluded wird, tragen wir ihn auch in die andere Liste ein }
            path := TPath.GetDirectoryName(path);
          end;
          LstExcludeDirs.Add(path);
        end;

        { Erst arbeiten wir die ganzen Pfade ab und überspringen die Excluded Pfade }
        { Für bessere Performance sortieren wir die Excludes einmal, damit wir in Matches das BinarySearch verwenden können }
        arr := LstExcludeDirs.ToStringArray;
        TArray.Sort<string>(arr, TIStringComparer.Ordinal);

        for path in TDirectory.GetDirectories(Root, '*', TSearchOption.soAllDirectories) do begin
          { ist es ein Exclude Path? }
          if not Matches(path, arr) then
            Target.AddStrings(TDirectory.GetFiles(path, '*.*', TSearchOption.soTopDirectoryOnly));
        end;

        { nun noch die excluded Paths mit den Wildcard-Einträgen }
        for S in lstExcludeFiles do begin
          mask := TPath.GetFileName(S);
          path := TPath.GetDirectoryName(S);
          Target.AddStrings(TDirectory.GetFiles(path, '*.*', TSearchOption.soAllDirectories,
            function(const Path: string; const SearchRec: TSearchRec): Boolean
            begin
              Result := TPath.MatchesPattern(SearchRec.Name, mask, False);
            end
            ));
        end;
      finally
        lstExcludeFiles.Free;
      end;
    finally
      lstExcludeDirs.Free;
    end;
  end
  else begin { keine Einschränkungen }
    Target.AddStrings(TDirectory.GetFiles(Root, '*.*', TSearchOption.soAllDirectories));
  end;
end;

[DieDolly]

Ist TDirectory.GetFiles und TPath das moderne FindFirst FindNext?
Ich habe um alle aufrufe Target.AddStrings noch ein TDirectory.Exists(path) gesetzt, damit es nicht zu Fehlern kommt wenn es da was nicht gibt (Garbage in, Garbage out: falsche Parameter die man übergibt oder so).

Meine testfälle scheinen alle zu funktionieren, was LstInclude angeht. LstExlude muss ich noch testen aber ich denke, das funktioniert alles.

Ok einen Fall hab ich das funktioniert nicht. Man kann keine Dateien mehr in die Listen schreiben.
Deswegen habe ich etwas umgeändert

Delphi-Quellcode:

// statt
Target.AddStrings(TDirectory.GetFiles(path, mask, SearchOption));

// jetzt
     if IsDirectory(path) then
      begin
       if TDirectory.Exists(path) then
        Target.AddStrings(TDirectory.GetFiles(path, mask, SearchOption));
      end
     else
      Target.Add(path);

Aber irgendwas stimmt auch nicht. Deswegen habe ich noch weiter rumprobiert ohne zu wissen was ich wirklich mache. Aber jetzt scheint es zu funktionieren mit beiden Listen.
EINE Sache funktioniert aber noch immer nicht.

LstInclude.Add('*.txt');
ListFiles('P:\Audacity Portable', LstInclude, LstExclude, sl, True);

Hier denke ich, dass nur Txt-Dateien i, Root von ListFiles eingeschlossen werden sollen. Es werden aber alle in allen Unterverzeichnissen übernommen.
Ich probiere noch weiter rum irgendwann werde ich eine Lösung haben.
Bis ich die habe, habe ich den Code hier unten erstmal wieder gelöscht.