Schnelle XML Lib für große Dateien gesucht

[Mithrandir]

Zitat:

Zitat von bigg

Ein 4 GB XML-File mit einem DOM-Parser in den Speicher laden ist einfach nur hohl. :stupid:

Besten Dank, aber so langsam reichts eigentlich mit den Lobhudeleien für mich... :stupid: :mrgreen:

Zitat:

Zitat von bigg

Ein SAX-Parser mit Hibernate plus entsprechender Datenbank sind da wohl die gewünschte Lösung. :angel:

Und alzaimars Vorschlag? :gruebel:

[bigg]

Alzamir hat seinen Tipp mit der Datenbank doch schon gegeben.
Haste ja am Anfang nicht erwähnt. :zwinker:

Die Jungs vom FastString-Projekt konnten ihre XML-Bestände mit ihren Routinen ordentlich optimieren, aber bei einer in UTF-8 kodierten XML-Datei, wäre ich da etwas vorsichtiger. Wenn man von Standards abweichen möchte, muss man sich nicht wundern (nicht zwingend jetzt aber vielleicht in zwei Jahren), wenn Datenbestände zur Hälfte inkonsistent sind, weil irgendwelche 0815-Parser die Standards nicht einhalten. So ein XML-Parser schreibt sich ja nun auch nicht von heut auf morgen. (siehe Muetze1, Himitsu, MSXML, OmniXML und Co.)

[himitsu]

Zitat:

Zitat von bigg

So ein XML-Parser schreibt sich ja nun auch nicht von heut auf morgen. (siehe Muetze1, Himitsu, MSXML, OmniXML und Co.)

joar, sah anfangs auch einfahcer aus :oops:
nja, nun bin ich schon recht weit, da wär's blöd jetzt aufzuhören ... vorallem da ich hier noch ein Projekt hab, welches mal damit arbeiten soll :stupid: (wegen dem hab ich überhaupt erst damit angefangen)

[Mithrandir]

Zitat:

Zitat von bigg

Haste ja am Anfang nicht erwähnt. :zwinker:

Nee... :stupid:

Zitat:

Zitat von bigg

So ein XML-Parser schreibt sich ja nun auch nicht von heut auf morgen. (siehe Muetze1, Himitsu, MSXML, OmniXML und Co.)

Wohl wahr. Ich brauche ja nichts großes. Einfach Knoten einlesen und in eine SQL-DB schreiben. Ich habe jetzt die beiden Artikel entdeckt:

Using XML in Delphi application - Part I Teil I ist eigentlich nicht relevant :stupid:
Using XML in Delphi application - Part II

Ich werde mir wohl eine Klasse schreiben, die zum Einen die XML-Datei parst und zum anderen die Daten in eine DB schreibt. Das ist nach dem Thread in meinen Augen die beste Lösung. Zumal man sicher auch schon ein paar Routen vorberechnen müsste. Ob das aber alles für eine lokale DB taugt... Mal sehen..

[Pfoto]

Hallo Daniel,

ich verwende NativeXML von SimDesign, kostet nicht viel
und soll auch bei riesigen Datenmengen schnell sein.

Hier mal ein Benchmark eines Demo-Projektes:

Zitat:

Creating an XML document with 100000 nodes...
Creation time: 0,297 sec
Storage time (file): 0,297 sec
Storage time (string): 0,109 sec
Storage time (stream): 0,125 sec
File size: 3000060 bytes
Clearing time: 0,032 sec
Loading time (file): 0,890 sec
Loading time (stream): 0,906 sec
Done.

Edit: Centrino Duo / 1.83GHz

http://www.simdesign.nl/xml.html

Gruß
Jürgen

[Mithrandir]

Hi Pfoto,

Danke für den Hinweise. :thumb:

Allerdings stoßt es mir etwas sauer auf, wenn ich eine kommerzielle Unit in einem GPL-Projekt verwenden sollte. Dennoch danke.. ;)

[Mithrandir]

Zitat:

Zitat von Daniel

Falls Du auf Unicode verzichten kannst, kann ich Dir diese Komponente empfehlen:
http://www.destructor.de/xmlparser/index.htm

Ist ein SAX-Parser und ziemlich flott obendrein.

Ich hab den Parser nun zum Laufen bekommen. Gefällt mir, rennt durch die 120 MB Datei innerhalb von 17 Sekunden. Allerdings bekomme ich bei der großen 4 GB Datei den E/A-Fehler 998. Vielleicht finde ich noch raus, wie ich das umschiffe... :gruebel: Um den multi-byte Unicode Support kümmere ich mich, sobald es soweit ist. Jetzt möchte ich erstmal einen stabile Basis schaffen...

Ich danke euch für die Hilfe. :thumb:

[Muetze1]

Zitat:

Zitat von Daniel G

Allerdings bekomme ich bei der großen 4 GB Datei den E/A-Fehler 998.

Bei Dateien/Adressen größer 2 GB die in einer vorzeichenbehafteten Variablen abgelegt werden, ist das Vorzeichen gesetzt. Dadurch können Adress- und Dateioperationen eine falsche Richtung einschlagen. Vielleicht mal in die Richtung schauen.

[Mithrandir]

Zitat:

Zitat von Muetze1

Zitat:

Zitat von Daniel G

Allerdings bekomme ich bei der großen 4 GB Datei den E/A-Fehler 998.

Bei Dateien/Adressen größer 2 GB die in einer vorzeichenbehafteten Variablen abgelegt werden, ist das Vorzeichen gesetzt. Dadurch können Adress- und Dateioperationen eine falsche Richtung einschlagen. Vielleicht mal in die Richtung schauen.

Hi,

Ja, zum Debuggen war mir das gestern zu spät. :) Ich habe mal geguckt, er hängt bei dieser Funktion:

Delphi-Quellcode:

FUNCTION  TXmlParser.LoadFromFile (Filename : STRING; FileMode : INTEGER = fmOpenRead OR fmShareDenyNone) : BOOLEAN;
          // Loads Document from given file
          // Returns TRUE if successful
VAR
  f           : FILE;
  ReadIn      : INTEGER;
  OldFileMode : INTEGER;
BEGIN
  Result := FALSE;
  Clear;

  // --- Open File
  OldFileMode := SYSTEM.FileMode;
  TRY
    SYSTEM.FileMode := FileMode;
    TRY
      AssignFile (f, Filename);
      Reset (f, 1);
    EXCEPT
      EXIT;
      END;

    TRY
      // --- Allocate Memory
      TRY
        FBufferSize := Filesize (f) + 1;
        GetMem (FBuffer, FBufferSize);
      EXCEPT
        Clear;
        EXIT;
        END;

      // --- Read File
      TRY
        BlockRead (f, FBuffer^, FBufferSize, ReadIn); //<= DORT. Der Wert von FBufferSize ist durch den Integerüberlauf negativ.
        (FBuffer+ReadIn)^ := #0;  // NULL termination
      EXCEPT
        Clear;
        EXIT;
        END;
    FINALLY
      CloseFile (f);
      END;

    FSource := Filename;
    Result  := TRUE;

  FINALLY
    SYSTEM.FileMode := OldFileMode;
    END;
END;

Ich werde mal gucken, was es für Lösungen zu diesem Problem im Forum gibt, aber ich denke mal, ich bräuchte irgendwie angepasste Funktionen von FileSize und BlockRead, die eben nicht den Integer nutzen, sondern einen größeren Datentyp.


Gruß,
Daniel

[Elvis]

Was spricht denn gegen den guten alten XmlReader aus dem .Net Framework?
Der lässt ist ebenfalls non-cahing/forward-only und lässt einige SAX Parser weit hinter sich.

Ist auch noch super easy zu nutzen:

Code:

var readerSettings = new XmlReaderSettings
{
    ValidationType = ValidationType.None,
    IgnoreComments = true
};

using (var fs = new FileStream("yourFrigginHugeFile.xml", FileMode.Open, FileAccess.Read))
using (var reader = XmlReader.Create(fs, readerSettings))
{
    while (reader.Read())
    {
        //...
    }
}