AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Programmieren allgemein XML Delphi xml für große datenansammlungen geeignet

xml für große datenansammlungen geeignet

Ein Thema von vsilverlord · begonnen am 15. Jan 2010 · letzter Beitrag vom 15. Mär 2010
Antwort Antwort
Benutzerbild von vsilverlord
vsilverlord

Registriert seit: 7. Jan 2008
Ort: Baden Württemberg- Hohenlohekreis
174 Beiträge
 
RAD-Studio 2009 Arc
 
#1

xml für große datenansammlungen geeignet

  Alt 15. Jan 2010, 17:00
Halloo, ich würde gerne viele datensätze abspeichern (viele Objekte mit eigenschaften). Ist dafür Xml das richtige?= es sollen immer einzelne Datensätze abspeicherbar sein und auch einzelne in den Arbeitspeicher geladen werden können. Ich befürchte nämlich, dass der Arbeitsspeicher für alle Datensätze auf einmal nicht ausreicht. außerdem glaube ich, dass es nciht so sinnvoll wäre, datenbanksysteme dazu zu verwenden.
gruß
Volker
~beware
Wizards First Rule:
People are stupid; given proper motivation, almost anyone will believe almost anything. Because people are stupid, they will believe a lie because they want to believe it’s true, or because they are afraid it might be true
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
43.017 Beiträge
 
Delphi 12 Athens
 
#2

Re: xml für große datenansammlungen geeignet

  Alt 15. Jan 2010, 17:05
Theoretisch könnte man auch XML dafür verwenden?

PS: Was ist denn für dich "groß"?

Wenn nicht das ganze XML-Dokument gleichzeitig in den "RAM" geladen werden soll:
DOM - alles im Speicher
SAX - Datei wird sequentiell verarbeitet und nur Teilweise im Speicher.
Garbage Collector ... Delphianer erzeugen keinen Müll, also brauchen sie auch keinen Müllsucher.
my Delphi wish list : BugReports/FeatureRequests
  Mit Zitat antworten Zitat
HiWieGehts

Registriert seit: 19. Aug 2005
101 Beiträge
 
Delphi 10.4 Sydney
 
#3

Re: xml für große datenansammlungen geeignet

  Alt 15. Jan 2010, 21:14
Hallo,
die Frage ist wirklich, was ist groß?
Ich habe mit dem ClientDataSet für einfache Datenmengen mit 50000 Datensätzen ganz gute Erfahrung gemacht.
  Mit Zitat antworten Zitat
Benutzerbild von vsilverlord
vsilverlord

Registriert seit: 7. Jan 2008
Ort: Baden Württemberg- Hohenlohekreis
174 Beiträge
 
RAD-Studio 2009 Arc
 
#4

Re: xml für große datenansammlungen geeignet

  Alt 15. Jan 2010, 21:53
ein datensatz besteht aus ca. 100000 objekten, datensätze auch ca. 10000. Zugreifen will ich aber nur auf einen auf einmal im Arbeitsspeicher.
Das ganze dient dazu, zuerst etwas vorzuberechnen, und später daraus eine Szene zu rendern (mit open gl falls jemand erfahrung damit hat).
Pro Objekt ca. 100 bit speicherbedarf. Also eigentlich würde auch eine Datenform in Tabellenform, da die Daten des Objekts nur Zahlen sind. Ich bin nunmal auf XML gestossen, da es sich anbietet, einfach abspeichern zu können, falls ihr aber eine bessere Form kennt könnt ihr sie mir ja sagen.
ty
Volker
~beware
Wizards First Rule:
People are stupid; given proper motivation, almost anyone will believe almost anything. Because people are stupid, they will believe a lie because they want to believe it’s true, or because they are afraid it might be true
  Mit Zitat antworten Zitat
Benutzerbild von Alien426
Alien426

Registriert seit: 21. Dez 2005
146 Beiträge
 
Turbo Delphi für Win32
 
#5

Re: xml für große datenansammlungen geeignet

  Alt 15. Jan 2010, 22:15
Also ich würde nicht XML nehmen. Schon alleine, weil die Datei auf dem Datenträger viel größer wird als bei anderen Methoden. Wenn es denn nur Zahlen sind, warum dann nicht CSV, im eigenen Format (typisiert) oder in eine SQLite-Datenbank?

Siehe auch Tutorial zur Datenspeicherung.
  Mit Zitat antworten Zitat
Namenloser

Registriert seit: 7. Jun 2006
Ort: Karlsruhe
3.724 Beiträge
 
FreePascal / Lazarus
 
#6

Re: xml für große datenansammlungen geeignet

  Alt 15. Jan 2010, 22:38
Ich würde auch eine richtige Datenbank dafür nehmen. MySQL, SQLite, Firebird... da gibt es ja viele zur Auswahl.
  Mit Zitat antworten Zitat
HiWieGehts

Registriert seit: 19. Aug 2005
101 Beiträge
 
Delphi 10.4 Sydney
 
#7

Re: xml für große datenansammlungen geeignet

  Alt 16. Jan 2010, 08:04
Hallo,
wenn ich richtig gerechnet habe, ergibt das eine Nettodatemnmenge von ca. 12,5GB. Dazu kommen noch - je nach Aufbau - die XML-Tags. Damit wird sich die Datenmenge mind. verdoppeln, u. U. verzehnfachen. Wenn du diese Datenmenge über XML bearbeiten willst, wird es mit "einfach" speichern kaum was werden. Es sei den du brauchst nie einen Datensatz löschen oder einfügen - nur anhängen wird gehen. Aber wie findest du den gewünschten Datensatz? Also aus meiner Sicht fällt XML auf jeden Fall aus oder du erfindest eine "Datenbank", welche die Daten im XML-Format speichert. Das kann aber das ClientDataSet (cds) automatisch.

Und gibt es eine Datenbank, welche Datensätze mit 100000 Datenfeldern unterstützt? Ich glaube nicht. Muss aber zugeben, damit habe ich mich noch nie auseinandergesetzt. Ich weiß nur, dass es einmal (15/20 Jahre) bei MS-SQL die Einschränkung gab, dass ein Datensatz nur 8kB haben durfte.

Das erste, was du aus meiner Sicht machen musst, ist zu klären, wie groß können Datensätze in der Datenbank XY sein. Wie groß kann die DB XY sein - es gibt DB die zb. nur 4 GB speichern können.
Der nächste Schritt ist, dir ein (relationales) Datenmodell zu überlegen, mit dem du die Datenmenge vernünftig speichern kannst. Wenn das erledigt ist, beginnt die Umsetzung.

LG
  Mit Zitat antworten Zitat
Benutzerbild von Deep-Sea
Deep-Sea

Registriert seit: 17. Jan 2007
907 Beiträge
 
Delphi XE2 Professional
 
#8

Re: xml für große datenansammlungen geeignet

  Alt 15. Mär 2010, 09:41
Nur mal was allgemeines zum Thema "Größe von XML-Dateien": Die kompletten Kartendaten von OpenStreetMap werden in einer einzigen XML-Datei angeboten und diese ist aktuell - Tendenz steigend - laut http://wiki.openstreetmap.org/wiki/Planet.osm über 160 GB groß
Also machbar ist das auf alle Fälle - wie es mit der Performance und Handhabung aussieht ist etwas anderes ...
Chris
Die Erfahrung ist ein strenger Schulmeister: Sie prüft uns, bevor sie uns lehrt.
  Mit Zitat antworten Zitat
mjustin

Registriert seit: 14. Apr 2008
3.003 Beiträge
 
Delphi 2009 Professional
 
#9

Re: xml für große datenansammlungen geeignet

  Alt 15. Mär 2010, 20:39
Zitat von vsilverlord:
ein datensatz besteht aus ca. 100000 objekten, datensätze auch ca. 10000. Zugreifen will ich aber nur auf einen auf einmal im Arbeitsspeicher.
Das ganze dient dazu, zuerst etwas vorzuberechnen, und später daraus eine Szene zu rendern (mit open gl falls jemand erfahrung damit hat).
Pro Objekt ca. 100 bit speicherbedarf. Also eigentlich würde auch eine Datenform in Tabellenform, da die Daten des Objekts nur Zahlen sind. Ich bin nunmal auf XML gestossen, da es sich anbietet, einfach abspeichern zu können, falls ihr aber eine bessere Form kennt könnt ihr sie mir ja sagen.
ty
Alternative Formate sind z.B. JSOn (http://json.org) und Google ProtocolBuffers: http://de.wikipedia.org/wiki/Protocol_Buffers, das sehr auf Leistungsfähigkeit optimiert ist.
Michael Justin
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 21:21 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz