Textdatei > 500 MB für DB vorbereiten

[OG Karotte]

Hallo zusammen,

ich habe hier eine Textdatei die ca. 180.000 Datensätze enthält. Diese Datensätze müssen nun in eine Access.db überführt werden. Die Ausgangsdatei ist folgendermaßen aufgebaut:

Code:

Feldname 1:  Feldinhalt
Feldname 2:  Feldinhalt
Feldname 3:  Feldinhalt
Feldname 4:  Feldinhalt
Feldname 5:  Feldinhalt
Feldname 6:  Feldinhalt
...
Feldname n:  Feldinhalt

Datensatztrenner (0x0c)

Feldname 1:  Feldinhalt
Feldname 3:  Feldinhalt
Feldname 4:  Feldinhalt
Feldname 6:  Feldinhalt
...
Feldname n:  Feldinhalt

Datensatztrenner (0x0c)

usw.

Wie man sieht, ist nicht jeder Datensatz identisch aufgebaut, will sagen in einem Datensatz können es 10 Felder sein, in einem anderen 20 (realistische Werte) sein.

Die Access-DB muss aus den Feldern (ALLE möglichen) generiert und anschließend befüllt werden.

Das ganze soll evtl. im Quartalsrythmus aktualisiert werden.

Mein Problem:

Mir fällt im Augenblick nichts effizientes (Speicherbedarf, Geschwindigkeit) ein, um die Datei zu analysieren / vorzubereiten bzw. in Access zu überführen.

Für Denkanstösse wäre ich sehr dankbar.

[HalloDu]

Ist das ein Lotus Textformat?

Ich hab mal für sowas Ähnliches(Lotus Text, oder so) einen Konverter zu CSV geschrieben und es da so gemacht, dass ich erst einen Durchgang gemacht habe um alle Felder zu bestimmen und diese dann in nen Array geschrieben hab. Dann hab ich die Feldnamen schonmal in die CSV geschrieben. Als nächstes bin ich dann das ganze Datensatz für Datensatz durchgangen und ich hab das dann auch wieder in einen zweiten Array geschrieben, der die gleiche Anzahl von Elementen wie der Erste hat und das dann an die gleiche Position, die der entsprechende Feldname im ersten Array hat, geschrieben. Am Datensatz-Ende wurde dieser Array dann in die CSV geschrieben (Du müsstest das natürlich in die Datenbank schreiben).

Hoffe dir hilft das ein bissle, wenns dich interessiert kann ich die Source von dem Programm raussuchen, bin mir aber nicht ganz sicher, ob ich die finde.

[mkinzler]

Ich würde die Datei per Stream in einen Buffer laden (immer einen Datensatz) und diesen dann zerlegen und in die Datenbank schreiben.

[OG Karotte]

@HalloDu: Ja, es ist ein LoNo Export und als Lösungsansatz wäre ich schon an Deinem Source intressiert.

@mkinzler: So in etwa habe ich schon angefangen, aber das dauert ziemlich lange.

Trotzdem Dank, denn das zeigt, das ich nicht total auf dem Holzweg war...

[himitsu]

was ist denn "ziemlich lange" für eine Zeiteinheit?
(dat ganze sollte in wenigen Minütchen zu bewerkstelligen sein ...
kommt auf die DB an, aber unter 5, wenn nicht gar unter 2 minuten wär schon möglich)

[HalloDu]

Hier sind die Sourcen+compilierte Exe. Sind allerdings nur sporadisch kommentiert und auch überhaupt nicht optimiert (Hab das mal nur so zwischendurch geschrieben). Aber sie funktionieren einwandfrei.

[OG Karotte]

Zitat:

Zitat von himitsu

was ist denn "ziemlich lange" für eine Zeiteinheit?
(dat ganze sollte in wenigen Minütchen zu bewerkstelligen sein ...
kommt auf die DB an, aber unter 5, wenn nicht gar unter 1-2 minuten wär schon möglich)

Nun, dann habe ich noch viel vor mir... :(

Derzeit liege ich beim Suchdurchlauf (Auslesen der Feldnamen) bei deutlich über fünf Minuten und da ist noch keine Zuordnung der Feldinhalte, geschweige denn das schreiben der DB enthalten :cry:
Gibst da vielleicht irgendein Trick :gruebel:

@halloDu: Danke, schau ich mir nachher gleich mal an.

[mkinzler]

Ohne die Datei und deinen Code zu kennen, kann man da nicht viel sagen.
Poste doch mal den Code und den Anfang der Datei (ein paar DS)

[himitsu]

also das läßt sich leicht ausrechnen ... hier auf dem "altem" Rechner jag ich ich mal so 10 MB/Sekunde durch die Platte und daheim weit über 30)

500MB / 10MB/s = 50s und dazu noch kommt dann noch das rumstöbern in den gelesenen Daten.

Wie mkinzler schon sagte, was hast du denn bis jetzt ... mal sehn was sich optimieren läßt.


OK, maximal Geschwindigkeit muß ja bestimmt nicht unbedingt sein ... würde ja (eventuell sehr viel) mehr Aufwand bedeuten.

[OG Karotte]

Ok, im Anhang ein ausführlicheres Beispiel der Datensätze (Daten sind angepasst, Originaldaten kann ich leider nicht veröffentlichen).

Zu Testzwecken (ich hatte in etwa an den von HalloDu beschriebenen Ansatz gedacht, also erstmal Feldnamen holen und dann Daten zuordnen) habe ich TATStreamSearch verwendet, nur um mal einen Eindruck zubekommen wie lange das dauern könnte. Ausserdem wollte ich den jeweils kompletten Feldnamen haben und die Möglichkeit eine RegEx-Suche durchzuführen erschien mir aufgrund der gegebenen unterschiedlichen Feldnamen angebracht.

Hier der verwendete erste Versuch (angepasst aus dem o.g. TATStreamSearch-Demo):

Delphi-Quellcode:

function TfrmMain.Find(AFindFirst: Boolean):Boolean;
var
  OK: Boolean;
begin

  Result := False;

  OK := False;

  try
    if AFindFirst then
    begin
      try
        strsrch_Main.FileName := FFileName;
      except
        Application.MessageBox('Cannot open filename specified', 'Error', MB_OK or MB_ICONERROR);
        Exit;
      end;
      OK := strsrch_Main.FindFirst('(\w*):  ', 0, FEncoding, FOptions);
    end
    else
    begin
      OK := strsrch_Main.FindNext;
    end;

  except
    on E: Exception do
      if E.Message <> '' then
      begin
        Application.MessageBox(PChar(E.Message), 'Search failed', MB_OK or MB_ICONERROR);
        Exit;
      end;
  end;

  if OK then
    begin
      bh_Main.SetSelection(strsrch_Main.FoundStart, strsrch_Main.FoundLength, True);
      Inc(FRecordCount);

      memUC_Main.Lines.Add(bh_Main.SelText);

      edOffset.Text := IntToStr(strsrch_Main.FoundStart);
      edCount.Text := IntToStr(FRecordCount);
      pb1.Position := strsrch_Main.FoundStart * 100 div FFileSize;
    end
  else
    Application.MessageBox('Search string not found', 'Search failed', MB_OK or MB_ICONERROR);
//
  Application.ProcessMessages;
  result := OK;
end;

Der Aufruf erfolgt durch:

Delphi-Quellcode:

procedure TfrmMain.btnUC_GetKeysClick(Sender: TObject);
var
  OK:Boolean;

begin
  FAbort := False;
  FEncoding := vencANSI;
  FOptions := [];
  FRecordCount := 0;
  Include(FOptions, asoRegEx);
  if Find(True) then
  repeat
    OK := Find(False);
  until (not OK) or FAbort;
  FAbort := False;
end;

Wie gesagt, das war erst einmal nur ein Test um ein Gefühl für die Zeit zu bekommen, die das Auslesen benötigen könnte.