AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Datenbanken Delphi Große Mengen Daten einlesen

Große Mengen Daten einlesen

Ein Thema von Dumpfbacke · begonnen am 26. Okt 2007 · letzter Beitrag vom 27. Okt 2007
Antwort Antwort
Seite 1 von 2  1 2   
Dumpfbacke

Registriert seit: 10. Mär 2005
Ort: Mitten in Deutschland
292 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#1

Große Mengen Daten einlesen

  Alt 26. Okt 2007, 08:59
Datenbank: Interbase • Version: 6 • Zugriff über: IBX
Hallo,
ich muß aus einer großen Datei 400 MB Text mit Trennzeichen | Daten auslesen um Daten in meiner Interbase Datenbank zu aktualisieren. Dieses sollte wöchentlich geschehen.

Dazu habe ich schon zwei Wege versucht.

1.) Daten in eine Access Datei einlesen um dann per ADO darauf zuzugreifen. MDB ist dann 1 GB groß
2.) Zugriff mittels TJvCSVDataSet

Bei beiden Möglichkeiten bekomme ich die Fehlermeldung, das ich nicht genügent speicher hätte. Die Kiste hat 8 GB RAM.

Hat jemand noch eine andere Möglichkeit wie ich an die Daten kommen kann und dann ein Teil in Interbase einlesen bzw abgleichen kann.

Tanja
Tanja
  Mit Zitat antworten Zitat
Benutzerbild von ULIK
ULIK

Registriert seit: 25. Sep 2006
Ort: Regensburg
381 Beiträge
 
Delphi 11 Alexandria
 
#2

Re: Große Mengen Daten einlesen

  Alt 26. Okt 2007, 09:07
Hi,

kannst Du denn die Daten nicht ganz normal wie aus einem Textfile einlesen und die einzelnen Werte aufsplitten wie Du es brauchst und sie dann in deine IB bei Bedarf reinschreiben?


Grüße,
Uli
  Mit Zitat antworten Zitat
Dumpfbacke

Registriert seit: 10. Mär 2005
Ort: Mitten in Deutschland
292 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#3

Re: Große Mengen Daten einlesen

  Alt 26. Okt 2007, 09:08
Zitat von ULIK:
Hi,

kannst Du denn die Daten nicht ganz normal wie aus einem Textfile einlesen und die einzelnen Werte aufsplitten wie Du es brauchst und sie dann in deine IB bei Bedarf reinschreiben?


Grüße,
Uli
Wie kann ich die Daten denn einlesen ? Daten sind im Textformat und als Trennzeichen wird ein | benutzt.

Tanja
Tanja
  Mit Zitat antworten Zitat
Benutzerbild von rawsoul
rawsoul

Registriert seit: 29. Okt 2006
Ort: Düsseldorf
249 Beiträge
 
Delphi 2005 Personal
 
#4

Re: Große Mengen Daten einlesen

  Alt 26. Okt 2007, 09:18
Explode könnte dir dabei helfen. Teile die Stringliste doch erst einmal in mehrere kleine Datenpakete und arbeite dann eins nach dem anderen ab.
Frank Dumont
  Mit Zitat antworten Zitat
Klaus01

Registriert seit: 30. Nov 2005
Ort: München
5.620 Beiträge
 
Delphi 10.4 Sydney
 
#5

Re: Große Mengen Daten einlesen

  Alt 26. Okt 2007, 09:28
Nun explode auf 400MB Daten angewendet - ist, so denke ich, auch nicht ohne.

Sind die Datensätze denn immer gleich lang?
Dann könntest Du sie doch "häppchenweise" mit Hilfe eines Buffers einlesen
und verarbeiten.

Kannst Du einen Teil der Daten mal hier einstellen?

Grüße
Klaus
Klaus
  Mit Zitat antworten Zitat
mkinzler
(Moderator)

Registriert seit: 9. Dez 2005
Ort: Heilbronn
39.802 Beiträge
 
Delphi 10.4 Sydney
 
#6

Re: Große Mengen Daten einlesen

  Alt 26. Okt 2007, 09:46
Man könnte es auch mit der External File Funktion von IB versuchen.
Markus Kinzler
  Mit Zitat antworten Zitat
Benutzerbild von Bernhard Geyer
Bernhard Geyer

Registriert seit: 13. Aug 2002
16.908 Beiträge
 
Delphi 10.4 Sydney
 
#7

Re: Große Mengen Daten einlesen

  Alt 26. Okt 2007, 09:52
Zitat von Dumpfbacke:
Bei beiden Möglichkeiten bekomme ich die Fehlermeldung, das ich nicht genügent speicher hätte. Die Kiste hat 8 GB RAM.
Du hast 32-Bit-Prozesses und wenn du dein 64-Windows nicht entsprechend konfigurierst wirst du maximal 2 GB Speicher für den Prozess haben können. davon nach ein paar 10 MB für System-DLL's die in deinem Prozess eingeblendet sind und deinen eigentlichen Code wirst du maximal auf 1,8-1,9 GB für deinen Prozess kommen.

Und wenn du die 400 MB-Datei mit normaler Stringlist einlist wirst du pro MB Textdatei 2-3 MB Speicher benötigen da diese AFAIK die Textdatei komplett einliest und dann bearbeitet. Du wirst nicht darum herumkommen eine bessere Laderoutine zu schreiben.
Windows Vista - Eine neue Erfahrung in Fehlern.
  Mit Zitat antworten Zitat
Benutzerbild von Luckie
Luckie
(Moderator)

Registriert seit: 29. Mai 2002
37.621 Beiträge
 
Delphi 2006 Professional
 
#8

Re: Große Mengen Daten einlesen

  Alt 26. Okt 2007, 10:00
Zitat von Bernhard Geyer:
Zitat von Dumpfbacke:
Bei beiden Möglichkeiten bekomme ich die Fehlermeldung, das ich nicht genügent speicher hätte. Die Kiste hat 8 GB RAM.
Du hast 32-Bit-Prozesses und wenn du dein 64-Windows nicht entsprechend konfigurierst wirst du maximal 2 GB Speicher für den Prozess haben können. davon nach ein paar 10 MB für System-DLL's die in deinem Prozess eingeblendet sind
Korrektur: Unter 32-Bit hat jeder 4 GB Adressraum, wobei 2 GB für das Betriebssystem reserviert sind.
Michael
Ein Teil meines Codes würde euch verunsichern.
  Mit Zitat antworten Zitat
KPBecker

Registriert seit: 1. Mär 2004
Ort: Mannheim
120 Beiträge
 
Delphi 2010 Architect
 
#9

Re: Große Mengen Daten einlesen

  Alt 26. Okt 2007, 10:17
Wenn man die Information nacheinander zeilenweise getrennt verarbeiten kann, sollte es eigentlich kein Problem mit dem Speicherplatz geben:

- Eine Zeile der Textdatei einlesen (ReadLn).
- Die Elemente der Zeile in eine Stringlist aufsplitten
(sl.DelimitedText:= Text, vorher sl.Delimiter:= '|' und sl.StrictDelimiter:= true nicht vergessen)
- Eintrag in die Datenbank machen
- nächste Zeile ...

Klaus-Peter
  Mit Zitat antworten Zitat
grenzgaenger
(Gast)

n/a Beiträge
 
#10

Re: Große Mengen Daten einlesen

  Alt 26. Okt 2007, 21:23
wenn du die daten schon nach access einlesen kannst, dann kannse sie auch gleich nach IB einlesen. die einleseprozedur ist doch die selbe.

sonst anderer ansatz, zeile für zeile flat file einlesen, aufbereiten und dann über insert/update in die db. das einlesen für 400 meg sollte nicht länger als 1, 2 senkunden dauern, wenn du keine grosseartige aufbereitung hast, ist der rest auch in einer sekunde erledigt (vorausgesetzt du hast 'n einigermassen marktgängigen rechner, und keinen der 20 jahre alt ist).

wenn wir dir beim aufbereiten und einlesen des flat files helfen sollen, poste doch mal deinen datenaufbau und was du schon geschrieben hast zum einlesen.

btw: hab ich for 'n paar wochen, vllt. auch monaten, hier auch 'ne routine eingestellt um genau so 'n problem zu lösen.

grüsse und noch viel erfolg.
  Mit Zitat antworten Zitat
Antwort Antwort
Seite 1 von 2  1 2   

Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 17:44 Uhr.
Powered by vBulletin® Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2021 by Daniel R. Wolf