Zu allererst würde ich gerne nochmal genau wissen was ein Index bzw. Indexierung bedeutet.
Ich verstehe darunter nur, dass die Daten entweder in alphabetischer Reihenfolge vorliegen oder in z.B. einem array die Zeiger auf die jeweiligen Wörter in alphabetischer Reihenfolge (bezogen auf das Wort auf das er zeigt) besteht mit dem dann z.B. Quicksearch durchgeführt werden kann.
Zitat von
stoxx:
26 MB ist nicht viel, hast Du schonmal probiert, einfach mit Stringlist.LoadFromFile die Datei zu laden, wie lange es dauert.
Wenn 26 MB 3 sekunden dauern, dann liegt es am zu kleinen Lesebuffer der Festplatte.
Leider hat die Datei am Anfang noch Kommentare die nicht ausgelesen werden sollen und bei der StringList kann man als Delimiter nur einen Char angeben bei mir sind es aber vier Chars: ' :: ' (Leerstelle, 2 Doppelpunkte, Leerzeichen).
Eine Zeile sieht z.B. so aus (dahinter steht dann ein zeilenumbruch #13):
akutes Problem {n} :: pressing problem
Die Daten liegen bereits vorsortiert darin ich müsste nur eine Seite (also englische oder deutsche Wörter) sortieren was aber kein Problem ist.
DWAG werde ich mir mal Ansehen sobald ich mit dem Abi durch bin ich glaube dazu braucht man etwas mehr Zeit nehme ich an^^
Zitat von
himitsu:
PS: wenn du das Dateiformat schon von Haus aus so gestaltest, daß die Daten sortiert und Optimiert darin liegen, dann könntest du die Datei auch via MMF in den
RAM laden
und falls der Index nicht schon darin eingebaut ist, dann nur noch einen Index über die dort enthaltenen Daten anlegen.
Erstmal wären dann nicht immer alle Daten im
RAM ... Windows versucht "intelligent" das Benötigte (also das worauf grad zugegriffen wird) zu (ent)laden.
So könnte man auch mal locker 'ne 2 GB-Datei in den Speicher laden und das selbst bei nichma 1 GB
RAM.
Und wenn der Index schon in der Datei eingebaut ist, dann wäre das Laden in wenigen Millisekunden geschehen (falls man nochmal auf 'ne aufwendige Verifizierung der enthaltenen Daten verzichtet).
Verstehe ich das richtig, dass bei MMF die Daten in die Auslagerungsdatei von Windows geschrieben werden?
-----------------
Noch eine generelle Frage:
TStringList speichert seine Strings zeilenweise in eine Datei (bei saveToFile) und lädt sie so auch wieder in den Speicher.
Kann ich irgendwo nachlesen wie es das genau macht, damit ich weis/verstehe wie man effizient Datenformate in den Speicher lesen kann?