xml für große datenansammlungen geeignet

[vsilverlord]

Halloo, ich würde gerne viele datensätze abspeichern (viele Objekte mit eigenschaften). Ist dafür Xml das richtige?= es sollen immer einzelne Datensätze abspeicherbar sein und auch einzelne in den Arbeitspeicher geladen werden können. Ich befürchte nämlich, dass der Arbeitsspeicher für alle Datensätze auf einmal nicht ausreicht. außerdem glaube ich, dass es nciht so sinnvoll wäre, datenbanksysteme dazu zu verwenden.
gruß

[himitsu]

Theoretisch könnte man auch XML dafür verwenden?

PS: Was ist denn für dich "groß"?

Wenn nicht das ganze XML-Dokument gleichzeitig in den "RAM" geladen werden soll:
DOM - alles im Speicher
SAX - Datei wird sequentiell verarbeitet und nur Teilweise im Speicher.

[HiWieGehts]

Hallo,
die Frage ist wirklich, was ist groß?
Ich habe mit dem ClientDataSet für einfache Datenmengen mit 50000 Datensätzen ganz gute Erfahrung gemacht.

[vsilverlord]

ein datensatz besteht aus ca. 100000 objekten, datensätze auch ca. 10000. Zugreifen will ich aber nur auf einen auf einmal im Arbeitsspeicher.
Das ganze dient dazu, zuerst etwas vorzuberechnen, und später daraus eine Szene zu rendern (mit open gl falls jemand erfahrung damit hat).
Pro Objekt ca. 100 bit speicherbedarf. Also eigentlich würde auch eine Datenform in Tabellenform, da die Daten des Objekts nur Zahlen sind. Ich bin nunmal auf XML gestossen, da es sich anbietet, einfach abspeichern zu können, falls ihr aber eine bessere Form kennt könnt ihr sie mir ja sagen.
ty

[Alien426]

Also ich würde nicht XML nehmen. Schon alleine, weil die Datei auf dem Datenträger viel größer wird als bei anderen Methoden. Wenn es denn nur Zahlen sind, warum dann nicht CSV, im eigenen Format (typisiert) oder in eine SQLite-Datenbank?

Siehe auch Tutorial zur Datenspeicherung.

[Namenloser]

Ich würde auch eine richtige Datenbank dafür nehmen. MySQL, SQLite, Firebird... da gibt es ja viele zur Auswahl.

[HiWieGehts]

Hallo,
wenn ich richtig gerechnet habe, ergibt das eine Nettodatemnmenge von ca. 12,5GB. Dazu kommen noch - je nach Aufbau - die XML-Tags. Damit wird sich die Datenmenge mind. verdoppeln, u. U. verzehnfachen. Wenn du diese Datenmenge über XML bearbeiten willst, wird es mit "einfach" speichern kaum was werden. Es sei den du brauchst nie einen Datensatz löschen oder einfügen - nur anhängen wird gehen. Aber wie findest du den gewünschten Datensatz? Also aus meiner Sicht fällt XML auf jeden Fall aus oder du erfindest eine "Datenbank", welche die Daten im XML-Format speichert. Das kann aber das ClientDataSet (cds) automatisch.

Und gibt es eine Datenbank, welche Datensätze mit 100000 Datenfeldern unterstützt? Ich glaube nicht. Muss aber zugeben, damit habe ich mich noch nie auseinandergesetzt. Ich weiß nur, dass es einmal (15/20 Jahre) bei MS-SQL die Einschränkung gab, dass ein Datensatz nur 8kB haben durfte.

Das erste, was du aus meiner Sicht machen musst, ist zu klären, wie groß können Datensätze in der Datenbank XY sein. Wie groß kann die DB XY sein - es gibt DB die zb. nur 4 GB speichern können.
Der nächste Schritt ist, dir ein (relationales) Datenmodell zu überlegen, mit dem du die Datenmenge vernünftig speichern kannst. Wenn das erledigt ist, beginnt die Umsetzung.

LG

[Deep-Sea]

Nur mal was allgemeines zum Thema "Größe von XML-Dateien": Die kompletten Kartendaten von OpenStreetMap werden in einer einzigen XML-Datei angeboten und diese ist aktuell - Tendenz steigend - laut http://wiki.openstreetmap.org/wiki/Planet.osm über 160 GB groß :wink:
Also machbar ist das auf alle Fälle - wie es mit der Performance und Handhabung aussieht ist etwas anderes ...

[mjustin]

Zitat:

Zitat von vsilverlord

ein datensatz besteht aus ca. 100000 objekten, datensätze auch ca. 10000. Zugreifen will ich aber nur auf einen auf einmal im Arbeitsspeicher.
Das ganze dient dazu, zuerst etwas vorzuberechnen, und später daraus eine Szene zu rendern (mit open gl falls jemand erfahrung damit hat).
Pro Objekt ca. 100 bit speicherbedarf. Also eigentlich würde auch eine Datenform in Tabellenform, da die Daten des Objekts nur Zahlen sind. Ich bin nunmal auf XML gestossen, da es sich anbietet, einfach abspeichern zu können, falls ihr aber eine bessere Form kennt könnt ihr sie mir ja sagen.
ty

Alternative Formate sind z.B. JSOn (http://json.org) und Google ProtocolBuffers: http://de.wikipedia.org/wiki/Protocol_Buffers, das sehr auf Leistungsfähigkeit optimiert ist.