AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Algorithmen, Datenstrukturen und Klassendesign FreePascal Eine sehr große textbasierte Datei durchsuchen?

Eine sehr große textbasierte Datei durchsuchen?

Ein Thema von begin.delphi · begonnen am 5. Dez 2017 · letzter Beitrag vom 6. Dez 2017
Antwort Antwort
Seite 3 von 3     123
begin.delphi

Registriert seit: 31. Mai 2014
10 Beiträge
 
FreePascal / Lazarus
 
#21

AW: Eine sehr große textbasierte Datei durchsuchen?

  Alt 6. Dez 2017, 11:41

Wenn die Datei vorhanden ist, kennt man vllt. die Struktur, aber nicht den Inhalt. Der erschließt sich erst beim Lesen. Und irgendwie werde ich das Gefühl nicht los, daß es nicht darum geht einen Namen zu finden, sondern einen Datensatz, der an Hand eines Namens identifiziert wird.
Ja, das stimmt. Da muss der passende Nachname gefunden werden, und wenn das gefunden wird, muss das Jahr ausgelesen werden, wann es diesen Nachnamen gab. Mehr nicht.
  Mit Zitat antworten Zitat
bra

Registriert seit: 20. Jan 2015
711 Beiträge
 
Delphi 10.2 Tokyo Enterprise
 
#22

AW: Eine sehr große textbasierte Datei durchsuchen?

  Alt 6. Dez 2017, 11:47
Ich würde auch sagen dass die Daten in eine Datenbank überführt werden sollten. Alles andere ist doch ein Heidenaufwand mit vermutlich unterirdischer Geschwindigkeit.
  Mit Zitat antworten Zitat
jobo

Registriert seit: 29. Nov 2010
3.072 Beiträge
 
Delphi 2010 Enterprise
 
#23

AW: Eine sehr große textbasierte Datei durchsuchen?

  Alt 6. Dez 2017, 11:49
Unter arbeiten meine ich die ged-Datei lesen. Aber auch nicht alles, sondern nur nach bestimmten Namen suchen. Und mit schnell meine ich irgendwelche Vorgehensweise (TFileStream oder ReadLn) die schneller als die restlichen ist. Aus diesen zwei wäre das z.B. TFileStream.
Arbeiten:
Gut, ich meinte eigentlich nur die funktionalen Seite. Was sind die "Arbeits"Szenarien/Anforderungen?
Einen(1) Namen suchen bedeutet idR in einer solchen Datei, dass man zunächst den ersten findet
-wenn die Codierung stimmt. Und:
Formatbedingt kommen solche Gemeinheiten dazu, das Werte in mehreren Zeilen verstreut stehen können, Steuerzeichen dazwischen. Das findet man ohne passende Algorithmen nie, wenn man die Rohdaten durchsucht.

Wie auch immer, findet man was, dann kann man weitersuchen, (über)springen, ausschließen, anzeigen usw.
Man kann auch alle Zeilen suchen, in denen dieser Name vorkommt
oder hier vielleicht besser alle Zeilengruppen, wo er vorkommt.

Schnell:
Auch hier interessiert mich eher, was schnell wäre in Sekunden, nicht welche Technik.
In einer 2 GB Logdatei Suche nach einem Wert der ziemlich am Ende steht dauert mit einem alten Ultraedit bei mir grad ca 30 Sekunden. Ein "gib mir alle Zeilen mit [einBestimmterWert]" hab ich noch nicht probiert, dauert vermutlich genauso lang, wenn es geht.

Worauf ich hinaus will:
Wenn Du nur 10 Namen suchen musst und dann fertig bist, nimm einfach einen geeigneten Editor.
Wenn du mehr "musst", dann wäre es bei dem Volumen nicht verkehrt, die Anforderungen genauer zu kennen und dann eine geeignete Technik zu suchen.

BTW
Es gibt Opensource Software, die GEDCOM kann. Hast Du die schon probiert? Versagen sie den Dienst?

P.S: Ich seh grad, das Thema Anforderungen und geeignete Technik ist eh schon im Gang.
Gruß, Jo
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
44.005 Beiträge
 
Delphi 12 Athens
 
#24

AW: Eine sehr große textbasierte Datei durchsuchen?

  Alt 6. Dez 2017, 12:33
...
Man könnte sich vorher auch einen Index aufbauen, wo der Anfang jedes Datensatzes in einer Namensliste steht, ...
Und der Index fällt vom Himmel?
aufbauen

Am Anfang einmal die Datei durchlaufen und in 'ner Liste das speichern (TStringList/TDictionary<>/...)

Es kommt vorallem darauf an wie oft er in dieser Datei was sucht.
Man kann den Inhalt auch in eine Datenbank schieben und dort weiterarbeiten.
Garbage Collector ... Delphianer erzeugen keinen Müll, also brauchen sie auch keinen Müllsucher.
my Delphi wish list : BugReports/FeatureRequests
  Mit Zitat antworten Zitat
Benutzerbild von p80286
p80286

Registriert seit: 28. Apr 2008
Ort: Stolberg (Rhl)
6.659 Beiträge
 
FreePascal / Lazarus
 
#25

AW: Eine sehr große textbasierte Datei durchsuchen?

  Alt 6. Dez 2017, 13:01
...
Man könnte sich vorher auch einen Index aufbauen, wo der Anfang jedes Datensatzes in einer Namensliste steht, ...
Und der Index fällt vom Himmel?
aufbauen

Am Anfang einmal die Datei durchlaufen und in 'ner Liste das speichern (TStringList/TDictionary<>/...)
Genau! Den meisten von uns ist klar, das die Datei mindestens einmal vollständig gelesen werden muß. Alle weiteren Zugriffe sind dann je nach gewählter Technik weniger aufwendig. Nur es geht nicht ohne mindestens einmal vollständiges Lesen.

Gruß
K-H
Programme gehorchen nicht Deinen Absichten sondern Deinen Anweisungen
R.E.D retired error detector
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
44.005 Beiträge
 
Delphi 12 Athens
 
#26

AW: Eine sehr große textbasierte Datei durchsuchen?

  Alt 6. Dez 2017, 14:52
Nur es geht nicht ohne mindestens einmal vollständiges Lesen.
Wenn die Daten in der Datei sortiert sind, dann muß man nicht vollständig lesen.

https://de.wikipedia.org/wiki/Bin%C3%A4re_Suche
- zur Mitte
- den Anfang des Blocks suchen
- schauen ob passend oder größer/kleiner
- wenn nicht passend, dann zur Mitte des Blocks davor oder dahinter usw.
Garbage Collector ... Delphianer erzeugen keinen Müll, also brauchen sie auch keinen Müllsucher.
my Delphi wish list : BugReports/FeatureRequests
  Mit Zitat antworten Zitat
Delphi.Narium

Registriert seit: 27. Nov 2017
2.490 Beiträge
 
Delphi 7 Professional
 
#27

AW: Eine sehr große textbasierte Datei durchsuchen?

  Alt 6. Dez 2017, 15:18
Die binäre Suche dürfte schwierig werden, man hat (selbst bei Sortierung) nicht eine Information pro Zeile (dann ginge das) sondern eine Information verteilt sich auf n bis m Zeilen.

Selbst wenn man das in eine Datenbank packt, muss man da erstmal eine 1 : n : m : keineahnungwieviele-Beziehung "aufbröseln".

Ein paar (kleine) Testdateien sind hier zu finden: http://www.familienbande-genealogie....ad/TestGED.zip
  Mit Zitat antworten Zitat
TiGü

Registriert seit: 6. Apr 2011
Ort: Berlin
3.070 Beiträge
 
Delphi 10.4 Sydney
 
#28

AW: Eine sehr große textbasierte Datei durchsuchen?

  Alt 6. Dez 2017, 15:35
Wer sich mal richtig austoben will:
http://genealogyoflife.com/tng/gedcom/Royal92.ged

3010 Personen. Europäische Königshäuser.

Kostenlose Windows-Software zum Anschauen:
http://www.ahnenblatt.de/
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 09:14 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz