Ergebnis der Suchanfrage

• Forum: XML

  Re: Schnelle XML Lib für große Dateien gesucht

    Delphi
    by himitsu, 9. Okt 2009
  jupp, das sieht doch gut aus :)
  
  bei meiner Lib dürfte es dann etwa gleich aussehn, nur daß da dann noch etwas für die Dekodierung verloren geht, da ich ja intern alles nach Unicode umwandel.
• Forum: XML

  Re: Schnelle XML Lib für große Dateien gesucht

    Delphi
    by himitsu, 9. Okt 2009
  Belgien läd bei mir und meinem DOM-Parser in 27 Sekunden,
  also wird der dahinterliegende SAX-Parser etwas flotter sein :stupid:
  (Demo_Tree2.exe)
• Forum: XML

  Re: Schnelle XML Lib für große Dateien gesucht

    Delphi
    by himitsu, 9. Okt 2009
  http://download.geofabrik.de/osm/europe/
  
  Belgien hab ich da und es ist entpackt 223 MB klein
  als .bz2 gepackt ist die OSM auf'm Server nur 28 MB
  
  die alps.osm.bz2 ist da schon 395 MB
  und das dürfte entpackt doch 'ne stattliche Datei werden :nerd: (vielleicht 2,5-3 GB)
  
  die .OSM sind im XML-Format
• Forum: XML

  Re: Schnelle XML Lib für große Dateien gesucht

    Delphi
    by himitsu, 7. Okt 2009
  OK, dann ist das aber kein SAX-Parser in diesem Sinne ... außer daß er vielleicht von einem Speicherblock aus parst :wall:
  
  
  hab grad mal dort reingesehn ...
  
  Man kann es vergessen diesen als "speichersparenden" SAX-Parser einzusetzen, da man erstmal das komplette Speichermanagement umstellen müßte.
  
  Es wird in LoadFromFile alles in den RAM geladen und erst dann geparst ... also als 700 MB...
• Forum: XML

  Re: Schnelle XML Lib für große Dateien gesucht

    Delphi
    by himitsu, 7. Okt 2009
  Ein SAX-Parser sollte die Datei aber nicht komplett in den RAM laden :gruebel: ,
  weswegen ja dort die Dateigröße egal wäre.
  
  
  Mein kleiner SAX-Parser ist in der aktuellen Version nicht lauffähig (hab da noch nicht alles umgestellt), aber der grundlegende Parser (ohne jeglichen Komfort) würde noch gehn, oder halt der alte Parser, welcher aber 'ne winzigkleine Macke in der Indizierung hat (er...
• Forum: XML

  Re: Schnelle XML Lib für große Dateien gesucht

    Delphi
    by himitsu, 22. Mai 2009
  ist falsch ... war 'nen Kopier-/Schreibfehler ... also das " ist schon da
  
  hatte die Knotten per Hand direkt aus'm Quelltext
  For i := 0 to 3999999 do Begin
  Node := XML.RootNode.Nodes.Add('Node' + IntToStr(i));
  Node.Attributes.Add('name', 'fcxvysdfgcxvcx');
  Node.Attributes.Add('vc1x3y', 'fcxvysdfgcxvcx');
  Node.Data := '123456gfdxv234rf56dfgcvbf';
  zusammengesetzt, da ich diese 386...
• Forum: XML

  Re: Schnelle XML Lib für große Dateien gesucht

    Delphi
    by himitsu, 22. Mai 2009
  Blos mal so aus Interesse ... hast du eigentlich mal alles da runtergeladen und entpackt?
  
  Wie groß mag das denn insgesamt sein? :shock:
  
  
  ja und mal sehn ... Polen ist grad unterwegs (UMTS ist halt nicht unbedingt flott)
• Forum: XML

  Re: Schnelle XML Lib für große Dateien gesucht

    Delphi
    by himitsu, 22. Mai 2009
  ich wollte mir mal dieses NativeXML von SimDesign ansehn ... Post #15
  nur existiert die verlinkte Seite nicht (Code 404)
  und http://www.simdesign.nl bzw. http://simdesign.nl liefern nur leere Seiten
  
  dann hab ich mal 'nen Test gestartet
  fill TXMLFile with 4.000.000 nodes, save into and load this from a file
  create:0 fill:413022 save:404106 free:3261
  EXMLException: EXMLException...
• Forum: XML

  Re: Schnelle XML Lib für große Dateien gesucht

    Delphi
    by himitsu, 16. Apr 2009
  Solange aber ein Node nicht in den gemappten Bereich reinpaßt, muß man mehr Seicher nachmappen ... ist alles schon ein klein bissl aufwändiger. (hatte es anfangs auch mal über MMF, aber es dann doch etwas anders gelöst :angel2: )
  
  oder man mappt die gesamte Datei in den RAM, aber daß hat auch wieder einen kleinen Nachteil ... die Datei müßte dann meistens als ein Stück vorliegen und die müssen...
• Forum: XML

  Re: Schnelle XML Lib für große Dateien gesucht

    Delphi
    by himitsu, 16. Apr 2009
  und das ist nicht so einfach ... was denkst du denn, warum ich etwas an der "Leseprozedur" festhänge? :roll:
• Forum: XML

  Re: Schnelle XML Lib für große Dateien gesucht

    Delphi
    by himitsu, 16. Apr 2009
  deswegen solltest du bei nahezu allen XML-Parsern probleme bekommen, da sie oftmals erstmal die gesamte Datei in den RAM laden und darun dann parsen.
  
  Gut, mein Parser läuft nur stückchenweise und läd größere Dateien möglichst nur in 64 KB-Stückchen, aber dennoch landet der XML-Tree danach im RAM, wie bei vielen anderen Parsern.
  
  Bei mir würde da allerdings eine 1 GB-Datei nur maximal + 64 KB...
• Forum: XML

  Re: Schnelle XML Lib für große Dateien gesucht

    Delphi
    by himitsu, 15. Apr 2009
  joar, sah anfangs auch einfahcer aus :oops:
  nja, nun bin ich schon recht weit, da wär's blöd jetzt aufzuhören ... vorallem da ich hier noch ein Projekt hab, welches mal damit arbeiten soll :stupid: (wegen dem hab ich überhaupt erst damit angefangen)