Indizierung von Dateien

[Satty67]

Zitat von juergen:

XMLSource.LoadFromFile(FilePath) und XMLSource.Clear...

Beides gleichzeitig ist natürlich unnötig.

Aber denke alleine die Tatsache, dass der zweite Zugriff nur noch <= 1 Sekunde dauert, lässt kaum Hoffnung, dass durch Code-Optimierung viel zu machen ist. Sein Problem sind ja die 10+ Minuten beim ersten Zugriff.

Zitat von -187-:

Ich dachte eigentlich Anfangs das eine DB Anwendung überdimensioniert wäre. Naja das Programm ist fertig und ich bin nicht so begeistert von der Idee umzurüsten

40.000 Dateien = Datensätze wäre zumindest ein Wert, wo man darüber nachdenken könnte. Ist natürlich nicht so leicht zu erweitern, wie eine XML-Datei in Suchordner zu kopieren.

Wenn alles XML ist, evtl. eine einzelne Datei mit je einer Zeile pro XML-Datei (XML braucht ja kein CRLF, Zeile: Dateiname?XML-Code). Aber wenn das gelesen wird, kommt sicher gleich der Aufschrei, dass genau so eine Idee förmlich nach einer DB bettelt.

[-187-]

Gibt es denn ne Möglichkeit den aktuellen Windows Cache zu speichern und bei jedem Neustart wiederherzustellen

[Satty67]

Zitat von -187-:

Gibt es denn ne Möglichkeit den aktuellen Windows Cache zu speichern und bei jedem Neustart wiederherzustellen

Per Systemeinstellung... glaube ich nicht Die Größe lässt sich einstellen, ist aber dann nur ein größerer leerer Cache beim Start. Alternativ Suspend-to-disk, statt ausschalten.

[-187-]

Ach ich nehm die 10min erstmal so hin... Mir bleibt ja auch nichts anderes überig wenn ich nicht umbauen will

[Luckie]

Damit wirst du leben müssen. 40.000 Dateien sind schon ziemlich viel und wenn sie alle nicht sehr groß sind, wird die Festplatte erst mal ordentlich beschäftigt sein, sie alle zusammen zu suchen und zu lesen. Da hilft nur eine gut defragmentierte Festplatte, damit der Lesekopf nicht ständig hin und her springen muss. Aber zu viel würde ich mir davon nicht versprechen. Der Festplattenzugriff ist nun mal der Flaschenhals.

Wenn du die Möglichkeit hast, kannst du die Dateien ja mal auf einen Rechner mit einer SSD Platte (Also diese Festplatten ohne Scheiben, aber mit Flashspeicher.) kopieren und dann noch mal dein Programm drüberlaufen lassen.

[chaosben]

Oder imho noch schneller: Ne RAMDisk

[Bummi]

@chaosben

läuft das Teil inzwischen zuverlässig??
ich hatte vor ca 3 Jahren mal eine Version gekauft die mein System rech instabil gemacht hat.
Eigentlich eine Sache die ins OS gehört wie früher...

[Mithrandir]

Zitat von chaosben:

Oder imho noch schneller: Ne RAMDisk

Wobei die Daten von der Festplatte ja auch erstmal in die RAMDisk geladen werden müssen...

[himitsu]

Zitat von -187-:

Gibt es denn ne Möglichkeit den aktuellen Windows Cache zu speichern und bei jedem Neustart wiederherzustellen

Das Nein wurde ja schon gesagt.

Zitat von Satty67:

Alternativ Suspend-to-disk, statt ausschalten.

Nee, da macht Windows die Cache auch leer, bzw. es speichert diese Cache nicht mit ... wäre auch "sinnlos" doppelte Daten zu speichern.
(wobei ich bei Win7 das gefühlt hab, bzw. den Verdacht, daß dort zumindestens die Cache der Ordnerstruckturen, vom Dateisystem, mit gespeichert werden )

Tja, von Dateien zu lesen ist nunmal viel langsamer, als von RAM/Cache.

PS: Mit Threads und damit verbundenen mehreren parallelen Zugriffen auf eine stinknormale Festplatte, bremst man Diese eher noch mehr aus.
Die Datenverarbeitung scheint ja soweit schnell genung zu sein, so daß man durch paralelles Lesen und Verrbeiten (Dateien dennoch sequentiell gelesen) auch nicht viel gewinnt, da immernoch das Lesen als größere Bremse dastünde.

PSS: Die RAM-Disk ... nja, irgendwie müssen die Dateien auch da erstmal drauf und wenn man diese einzeln reinkopiert, dann gewinnt man auch nix, abgesehn vom doppelten/dreifachen RAM-Verbrauch, nach dem Laden ins Programm.

> RAM-Disk + Overhead für Diskverwaltung und freien Disk-Speicher
> WindowsFileCache
> und die StringListen