Einlesen von alten Datensätze (Textdatei) in Datenbank

[Jens Hartmann]

Hallo mal wieder zusammen,

Eigendlich weiß ich das es kein großes Problem sein dürfte, allerdings habe ich irgendwie das Problem den richtigen Lösungsansatz zu finden.

Ich habe verschiedene Textdatei, die in verschiedenen Ordnern abgelegt sind. In diese Textdateien, sind alte Datensätze vorhanden.

Diese möchte ich jetzt einlesen und in meinen Datenbank integrieren.

Ordeneraufbau

C:\Daten
C:\Daten\2007 etc.
C:\Daten\2007\Januer etc.

Fertiger Pfad

C:\Daten\2007\Januar\01.01.2007.txt

Jetzt wäre meine Frage, wenn ich den Ordner Daten über z.B. ein Open Dialog angebe, wie bekomme ich es hin, das meine Programm alles was sich darunter befindet, durchsucht und alle Dateien von z.B. 01.01.2007.txt bis 28.09.2009.txt aus den verschiedene Ordnerebenen einließt und in die Datenbank einfügt.

Je nach Laufzeit des vorhandenen Systems, könnten das bis zu 5000 Dateien mit bis zu 5 Mil. Datensätzen sein. Soll heißen, meine Programm müsste alle 5000 Textdateien öffnen, die Textdatei auseinander nehmen und in die einzelnen Datensätze aufteilen, in die DB einfügen und die nächste Textdatei öffnen.

Vieleicht kann mir ja jemand weiterhelfen, wie ich das Problem am besten angehen kann.

Vielen Dank schon mal

MFG

Jens

[Luckie]

Wie man immer Dateien auflistet: FindFirst, FindNext.

[Hansa]

Und vergesse ganz schnell den OpenDialog. Du willst ja wohl kaum 5000 Dateien anklicken.

[Jens Hartmann]

Danke erstmal,

Zitat von Lucki:

Wie man immer Dateien auflistet: FindFirst, FindNext.

Habe ich bis jetzt noch nichts mit gemacht, werde ich mir durcharbeiten.

Zitat von hansa:

Und vergesse ganz schnell den OpenDialog. Du willst ja wohl kaum 5000 Dateien anklicken.

Will ich nicht, aber ich möchte über das OpenDialog den Ober Ordner Daten angeben, wo dieser liegt.

Die Dateien, möchte ich dan natürlich über Find First oder so suchen.

MFG

Jens

[Luckie]

Nimm lieber SelectDirectory.

[Klaus01]

Zitat von Jens Hartmann:

Will ich nicht, aber ich möchte über das OpenDialog den Ober Ordner Daten angeben, wo dieser liegt.

.. aber hast Du schon einmal versucht mit dem OpenDialog ein Verzeichnis zu markieren
und ihn dann mit o.k. zu schließen?

Grüße
Klaus

[Jens Hartmann]

Zitat von klaus01:

.. aber hast Du schon einmal versucht mit dem OpenDialog ein Verzeichnis zu markieren
und ihn dann mit o.k. zu schließen?

Nein hatte ich nicht. Aber mit...

Zitat von Lucki:

Nimm lieber SelectDirectory.

brauche ich das ja scheinbar nicht. Aber hier sind aufjedenfall jetzt die ansetze genannt worden, die mir fehlten, damit ich überhaupt mal einen Ansatz habe, womit ich anfange.

MFG

Jens

[Jens Hartmann]

Hallo zusammen,

so nach langem testen und probieren, erlesen von SelectDirectorie und Find First und Find Next etc. habe ich das mit dem einlesen wunderbar hinbekommen.

Ich kann auch in einem Memo sehen, welche Dateien eingelesen worden sind.

Den Inhalt der Dateien gebe ich in einem VST wieder. Allerdings habe ich da das Problem, das da immer nur die letzten 1 1/2 Dateien mit Ihrem Inhalten dargestellt werden.

Spiele ich das ganz im Debug Modus durch. wird dem VST aber der gesamte Inhalt aller Dateien zugewiesen. In folgendem Code wird das durchgeführt.

Hat da jemand ne Idee wo das dran liegen könnte.

Delphi-Quellcode:

procedure TImportForm.DisplayResult(Parser: TMySimpleBaseParser);
var
  i: Integer;
  ID : Integer;
  Daten : TOMBSerie;
begin
  VST.Clear;
  VST.BeginUpdate;
  for i := 0 to High(Parser.EntriesMB256) do begin
  Daten := TOMBSerie.Create;
  with Daten do
  begin
    Daten.ID := Parser.EntriesMB256[i].ID;
    Daten.LfdNr := Parser.EntriesMB256[i].LfdNr;
    Daten.Datum := Parser.EntriesMB256[i].Datum;
    Daten.Uhrzeit := Parser.EntriesMB256[i].Uhrzeit;
    Daten.Ereignis := Parser.EntriesMB256[i].Ereignis;
    Daten.Teilnehmer := Parser.EntriesMB256[i].Teilnehmer;
    Daten.Bereich := Parser.EntriesMB256[i].Bereich;
  end;
  VST.AddChild(nil, Daten);
  end;
  VST.ScrollIntoView(VST.GetLast, true);
  VST.EndUpdate;
end;

MFG

Jens

[sx2008]

Zerlege deine Aufgabe in zwei Teile:
a.) alle Dateinamen mit Endung .txt in einem bestimmten Verzeichnis (und darunter) in eine Stringliste füllen.
Dabei werden alle Unterverzeichnisse rekursiv besucht und die Dateinamen mit vollständigem Pfad in der Stringliste abgelegt.

b.) alle Dateien aus der Stringlist einlesen, die Inhalte in einzelne Felder zerlegen und in eine Datenbanktabelle schreiben.

So, wo ist jetzt das Problem? Bei a.) oder b.) oder beidem?
Und willst du lieber mit a.) oder b.) beginnen?

[Jens Hartmann]

Genau so mache ich das ja schon. Auswahl der Datein und das einlesen funktioniert ja auch, Beim Debuggen kann ich ja auch sehen, das alle Dateien gelesen werden.

ich zeig hier mal den gesamten Ablauf.

ORDNER wählen...

Delphi-Quellcode:

var
  Pfad : String;
begin
  SelectDirectory('Bitte Standort der Datenbank wählen', 'D:\Daten' ,Pfad);

  FindAllFiles(Pfad,'*.txt',True); //Verweis auf FindAllFiles Procedure

DATEIEN suchen und an PARSE Function übergeben

Delphi-Quellcode:

procedure FindAllFiles(RootFolder: string; Mask: string = '*.*'; Recurse: Boolean = True);
var 
  SR: TSearchRec;
  Parser: TMySimpleBaseParser;
  FileStream: TFileStream;
  FileContents: TStringStream;
begin
  if RootFolder = '' then
    Exit;
  if AnsiLastChar(RootFolder)^ <> '\' then
    RootFolder := RootFolder + '\';

  RootFolder := IncludeTrailingPathDelimiter(RootFolder);

  if Recurse then
    if
     FindFirst(RootFolder + '*.*', faAnyFile, SR) = 0 then
      try
        repeat
          if SR.Attr and faDirectory = faDirectory then

            if (SR.Name <> '.') and (SR.Name <> '..') then
              FindAllFiles(RootFolder + SR.Name, Mask, Recurse);
        until FindNext(SR) <> 0;
      finally
        FindClose(SR); 
      end;
  if FindFirst(RootFolder + Mask, faAnyFile, SR) = 0 then
    try 
      repeat 
        if SR.Attr and faDirectory <> faDirectory then
        begin
          ImportForm.Memo1.Lines.Add(RootFolder + SR.Name); //Datein in Memo auflisten
          Parser := TMySimpleParserB.Create;                //Parser erstellen
          ImportForm.DoParse(Parser, RootFolder + SR.Name); //aktuelle Datei Parsen lassen
          ImportForm.DisplayResult(Parser);                 //Aktuelle geparste Datei ausgeben
          Parser.Free;
        end;
      until FindNext(SR) <> 0; 
    finally 
      FindClose(SR);
    end; 
end;

Geparste Datei ausgeben

Delphi-Quellcode:

procedure TImportForm.DisplayResult(Parser: TMySimpleBaseParser);
var
  i: Integer;
  ID : Integer;
  Daten : TOMBSerie;
begin
  ID := 1;
  ProgBarDatei.Max := High(Parser.EntriesMB256);
  VST.Clear;
  VST.BeginUpdate;
  for i := 0 to High(Parser.EntriesMB256) do begin
  Daten := TOMBSerie.Create;
  with Daten do
  begin
    Daten.ID := ID;
    Daten.LfdNr := Parser.EntriesMB256[i].LfdNr;
    Daten.Datum := Parser.EntriesMB256[i].Datum;
    Daten.Uhrzeit := Parser.EntriesMB256[i].Uhrzeit;
    Daten.Ereignis := Parser.EntriesMB256[i].Ereignis;
    Daten.Teilnehmer := Parser.EntriesMB256[i].Teilnehmer;
    Daten.Bereich := Parser.EntriesMB256[i].Bereich;
  end;
  VST.AddChild(nil, Daten);
  ProgBarDatei.Position := ID;
  Inc(ID);
  end;
  VST.ScrollIntoView(VST.GetLast, true);
  VST.EndUpdate;
end;

Und selbst bei DisplayResult, werden alle Dateien durchlaufen.

Mein Problem ist nur, das nicht alle Dateien, die die Function DosplayResult durchlaufen haben im VST dargestellt werden. Im Memo, kann man allerdings alle sehen.


MFG

Jens