Dateisystemcache invalidieren erzwingen

[Assarbad]

Moin, kennt hier jemand einen besseren Weg den Dateisystemcache für einen Datenträger zu invalidieren (also ungültig zu markieren) als das erzwungene Trennen der Verbindung eines externen Datenträgers? Gibt es also bspw. eine praktische Methode (außer Neustart) um den Cache von fest verbundenen Datenträgern als ungültig zu markieren?

Danke.

[Uwe Raabe]

Keine Ahnung, ob es tut was du brauchst: Flush Windows File Cache

[jfheins]

Ich hab mal gesucht und das hier gefunden: http://superuser.com/a/417112/254399
Das leert wohl den Dateicache im RAM für alle Dateien wo das ohne Datenverlust geht. Für alle Datenträger. Geht das in die Richtung, die du suchst?

[himitsu]

Man wird doch bestimmt auch per Console/WinAPI diese Einstellungen mal kurz ändern können?
Das Betrifft dann aber natürlich nur den Schreibcache und nicht den Lesecache.
Anhang 46471

Von Ratiopharm Sysinternals gibt es bestimmt auch was, aber ich glaube das ging auch nur auf Alles und nicht nur auf ein bestimmtes Laufwerk.

Oder du machst das, was diese supercoolen RamCleaner machen ... den Arbeitsspeicher überfüllen und den Cache rauswerfen. (inkl. alles in die PageFile verschieben :stupid:)
Ich hatte mir och mal 'nen Konsolenprogrämmchen geschrieben, welches sich viel Speicher im physischen RAM reservierte, um den Cache zu leeren. (man muß danach halt noch ein paar minuten warten, bis die wichtigsten Programme wieder zurück sind, bevor man mit Datenträgertests loslegt)

[Assarbad]

Oh, pardon. Mir geht es ausschließlich um den Lesecache. Da ich die Geschwindigkeit verschiedener Methoden des Einlesens des Datenträgers gegeneinander vergleichen möchte.

[himitsu]

Dann lies doch einfach NonCached ein. :zwinker:
Das ignoriert komplett den Cache, selbst wenn schon was da drin ist.

Wollte mal NonCached NonBuffered einlesen, damit nichts Neues in den Cache kommt, aber was schon drin ist, hätte ich gern verwendet ... geht "leider" nicht :cry:, also perfekt für dich.

FILE_FLAG_NO_BUFFERING : beim Schreiben und Lesen nicht über den WindowsFileCache
FILE_FLAG_WRITE_THROUGH : beim Schreiben geht es am WindowsFileCache und DiscCache vorbei, bzw. leert sie sofort wieder
FILE_FLAG_RANDOM_ACCESS oder FILE_FLAG_SEQUENTIAL_SCAN : Windows schonmal sagen, ob du irre in der Datei rumwedelst oder einfach nur die Datei "einmal" hintereinander einlesen willst. (aber einen Effekt hatte ich nicht wirklich bemerkt)
Und du mußt in Vielfachen der Sektorgröße schreiben/lesen, wenn du ohne Buffer arbeiten willst. (beim Schreiben am Ende einfach das Zufiele wieder abschneiden > SetEndOfFile)

https://msdn.microsoft.com/en-us/lib...ching_behavior
https://msdn.microsoft.com/en-us/lib...(v=vs.85).aspx


Bzw. was willst'e denn rausbekommen?
Damals, mit meinem FileSplitter, hatte ich ja ein bissl zu viel rumgetestet.

[p80286]

Zitat:

Zitat von Assarbad (Beitrag 1358770)

Oh, pardon. Mir geht es ausschließlich um den Lesecache. Da ich die Geschwindigkeit verschiedener Methoden des Einlesens des Datenträgers gegeneinander vergleichen möchte.

Da im "Normalfall" eine Datei gelesen wird, die überall liegen kann, Festplatte/SSD/USB/Netzlaufwerk, warum sollte man für jedes Speichermedium eine eigene optimale Verfahrensweise suchen?

Gruß
K-H

[Assarbad]

Ich lese ja gerade nicht Dateiinhalte (kein Öffnen der Dateien) ein, sondern welche Dateien und Verzeichnisse es gibt. Das ist der Cache den ich augenscheinlich nicht beeinflussen kann mit irgendwelchen Flags beim Einlesen.

Laufwerk trennen ist zwar auf Dauer etwas unpraktisch, aber wenn hier keiner eine bessere Methode kennt, bleib ich dabei.

Zitat:

Zitat von himitsu (Beitrag 1358772)

Damals, mit meinem FileSplitter, hatte ich ja ein bissl zu viel rumgetestet.

Gucke ich mir an. Vielleicht finde ich da ja Hinweise.

Zitat:

Zitat von p80286 (Beitrag 1358782)

Da im "Normalfall" eine Datei gelesen wird, die überall liegen kann, Festplatte/SSD/USB/Netzlaufwerk, warum sollte man für jedes Speichermedium eine eigene optimale Verfahrensweise suchen?

Du mißverstehst. Es gibt tatsächlich noch andere Methoden als FindFirstFile/FindFirstFileEx und ich möchte die vergleichen. Und ja, Netzwerklaufwerke werden auch irgendwann in den Vergleich einfließen. Aber der Vergleich ist zwischen verschiedenen Methoden auf den jeweils gleichen Datenträgern. Ich muß nur den Zwischenspeicher irgendwie aus meinem Vergleich herausbekommen.

[himitsu]

In FAT/FAT32 sind Verzeichnisse auch "nur" sowas wie Dateien mit paar Records drin.
Bei großen Verzeichnissen mit massig Dateien wäre das schneller, wenn man die FAT selber parst, aber bei all dem kommst du ohne gewisse Rechte (Admin) nicht an doe Rohdaten.
(außer bei Wechsellaufwerken, ala USB-Sticks, wo man nicht so viele Rechte braucht)

Bezüglich NTFS könntest du die MFT auslesen (da gibt es irgendwo in der DP paar Codes dafür), das geht vorallem bei großen/tiefen Verzeichnisstrukturen wesentlich schneller, als sich überall mit FindFirstFile/FindNextFile einzeln durch alle Ebenen zu kämpfen.

[p80286]

Zitat:

Zitat von himitsu (Beitrag 1358789)

In FAT/FAT32 sind Verzeichnisse auch "nur" sowas wie Dateien mit paar Records drin.
Bei großen Verzeichnissen mit massig Dateien wäre das schneller, wenn man die FAT selber parst, aber bei all dem kommst du ohne gewisse Rechte (Admin) nicht an doe Rohdaten.
(außer bei Wechsellaufwerken, ala USB-Sticks, wo man nicht so viele Rechte braucht)

War da nicht mal was mit zwei Versionen der FAT damit man diese auf Fehler prüfen kann?
Ich kann mich erinnern, daß es da (funktionsfähige) Datenträger gab bei denen die zweite FAT nur Schrott war. Da mußt Du vorsichtig sein.

Gruß
K-H

[himitsu]

Standardmäßig gibt es die doppelt, um bei Fehlern die Zweite nehmen zu können.
Aber das könnte man einstellen, von 1 bis mehr. Vorallem bei kleinen Disketten für viel Daten konnte man so ein paar KB mehr an Daten drauf bekommen, genauso wenn man die Clustergröße größer festlegte, wurde dadurch die FAT kleiner, weil es weniger Cluster zu verwalten gibt.

Das Doppelte betraf vorallem das Hauptverzeichnis und die AllocationTabelle, also das, wo drin stand welcher Cluster belegt ist und mit welchem er als nächstes verlinkt ist.

[Assarbad]

Also die MFT zu parsen ist nur bedingt eine Option. Aus den von dir bereits genannten Gründen. Ist mir außerdem zu heikel sowas in einer Software einzusetzen wenn es Betriebssystemversionen betrifft die noch unterstützt werden. Wenn es um Systeme bis Vista geht, würde ich mich auch darauf einlassen, da man dort faktisch sicher sein kann, daß sich die entsprechenden Strukturen nicht retroaktiv ändern :zwinker:

FAT ist für mich im Großen und Ganzen kein Optimierungsziel, sondern maximal NTFS, reFS und Netzlaufwerke (unabhängig vom eigtl. Dateisystem).

Zitat:

Zitat von himitsu (Beitrag 1358789)

[...] als sich überall mit FindFirstFile/FindNextFile einzeln durch alle Ebenen zu kämpfen.

Das ist nur bedingt richtig. Die Bremse bei FindFirstFile und FindNextFile ist ja, daß dort standardmäßig allenfalls wenige Dateiinformationen auf einmal gelesen werden. FindFirstFileEx versucht das mit dem Flag FIND_FIRST_EX_LARGE_FETCH zu beheben, aber eben erst ab Windows 7. Damit werden dann die Informationen vieler Dateien in einem Zug gelesen und dann eben einzeln per FindNextFile zurückgegeben. Die Beschleunigung passiert aber dadurch, daß der Vorgang mit der hohen Latenz (Netzverkehr oder von Platte lesen) optimiert wird, indem man in einem Schwung viele Dateieinträge ausliest, statt nur sehr wenige. Indem man dann FindExInfoBasic benutzt, kann man noch ein paar Kopiervorgänge vermeiden (dann fällt der kurze Dateiname weg). Aber dann kann man eben auch direct die darunterliegenden Native API Funktionen benutzen. Und da will ich exakt austesten was genau wieviel Performanceschub bringt.

[p80286]

Interessante Idee, aber wie soll ich

Zitat:

If the string ends with a wildcard, period, or directory name, the user must have access to the root and all subdirectories on the path.

verstehen? Auf unseren Servern haben wir ungefähr diese Struktur
irgendwas\Daten\Buchhaltung
irgendwas\Daten\Vertrieb
irgendwas\Daten\Boss

und auf den PCs des Vertriebs ist irgendwas\Daten\Vertrieb als Laufwerk P: gemappt und die Berechtigungen sind entsprechend eingestellt. Worauf bezieht sich das erwähnte "root"? ist das P:\* oder irgendwas\Daten\Vertrieb ?
Im letzteren Fall wäre FindFirstFileEx schlicht untauglich.

Gruß
K-H

[Zacherl]

Zitat:

Zitat von p80286 (Beitrag 1358840)

Worauf bezieht sich das erwähnte "root"?

Ziemlich sicher auf

Delphi-Quellcode:

irgendwas\Daten\

. Bei Verwendung einer Wildcard am Ende des Strings benötigt die API dann natürlich auch die erforderlichen Rechte auf

Delphi-Quellcode:

irgendwas\Daten\*

, um Dateien in den Unterordnern suchen zu können. Die andere Möglichkeit ergibt - rein logisch betrachtet - zumindest wenig Sinn.

[Assarbad]

Also es gibt da ein gewisses Benutzerrecht SeChangeNotifyPrivilege:

Zitat:

Required to receive notifications of changes to files or directories. This privilege also causes the system to skip all traversal access checks. It is enabled by default for all users.

User Right: Bypass traverse checking.

Ich vermute mal der andere Kommentar bezieht sich auf alle Ausnahmefälle in denen die Benutzer dieses Recht nicht haben. Das System würde in diesem Fall für die jeweiligen Elternverzeichnisse bis zum Wurzelverzeichnis Zugriffsrechte prüfen. Man kann sich denken, warum dieses Benutzerrecht standardmäßig für alle Benutzer aktiviert ist.