AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Projekte SJ MMF File Reader 0.2 - Schneller Textdatei Reader

SJ MMF File Reader 0.2 - Schneller Textdatei Reader

Ein Thema von jaenicke · begonnen am 6. Jun 2010 · letzter Beitrag vom 17. Jul 2010
Antwort Antwort
Seite 1 von 2  1 2   
Benutzerbild von jaenicke
jaenicke
Registriert seit: 10. Jun 2003
Hallo!

Diese Unit stellt eine Klasse zum schnellen zeichenweisen sequentiellen Auslesen von Textdateien bereit. Dabei werden Memory Mapped Files benutzt, so dass der entsprechende Teil der Datei zuerst in den Arbeitsspeicher eingeblendet wird.
Die Buffergröße ist entsprechend der eigenen Anforderungen einstellbar.

Derzeit wird nur das Auslesen von Strings mit einem festlegbaren Delimiterzeichen unterstützt, aber ich werde noch das Auslesen anderer Datentypen usw. implementieren.

Eine Demo ist mit im Download enthalten, dort wird auch auf Wunsch die Geschwindigkeit gemessen. Dabei komme ich hier bei mir auf ca. 84 MiB/s, also schon eine extrem hohe Geschwindigkeit:
http://www.sj-berlin.de/service/df/s...easurement.png

Features:
  • Schnelles Lesen von Strings via ReadLn
  • Festlegen des gewünschten Delimiters
  • Destlegen der Buffergröße zur besseren Anpassung an eigene Daten
  • Delphi 2009 und 2010 Unterstützung inkl. Unicodedateien *neu*
Lizenz:
MPL 1.1 oder GPL 2.0 oder LGPL 2.1

Installation:
Die Unit muss entweder in den Bibliothekspfad aufgenommen oder dem Projekt hinzugefügt werden, damit die Unit über die uses-Klausel eingebunden werden kann. Dann genügt es das Objekt zu erstellen und damit zu arbeiten:
Delphi-Quellcode:
var
  FileReader: TSJMmfFileReader;
begin
  FileReader := TSJMmfFileReader.Create(edtFileName.Text);
  try
    while FileReader.Position < FileReader.Size do
    begin
      FileReader.Readln(CurrentReadString);
      // ...
    end;
  finally
    FileReader.Free;
  end;
Unterstützte Delphiversionen:
Delphi 6, 7, 2006, 2010
(andere nicht getestet, aber es sollte ab Delphi 6 überall gehen)

Unterstützte Windowsversionen:
Windows 2000, XP, Vista und 7

Weitere Planung:
  • Weitere Datentypen hinzufügen
  • Direkter Zugriff auf den Speicherbereich
Bekannte Probleme:
  • keine

Ich habe die Unit auch hier vorgestellt:
http://www.delphi-forum.de/viewtopic...=607865#607865
http://forum.delphi-treff.de/showthr...333#post210333

Schönen Gruß,
Sebastian
Miniaturansicht angehängter Grafiken
mmfreaderspeedmeasurement.png  
Angehängte Dateien
Dateityp: zip SJMmfFileReader0.21.zip (256,8 KB, 164x aufgerufen)
Dateityp: zip SJMmfFileReader0.21_src.zip (36,3 KB, 184x aufgerufen)
Alle eigenen Projekte sind eingestellt, ebenso meine Homepage, Downloadlinks usw. im Forum bleiben aktiv!

Geändert von jaenicke ( 6. Jun 2010 um 20:33 Uhr)
 
Benutzerbild von himitsu
himitsu

 
Delphi 10.4 Sydney
 
#2
  Alt 6. Jun 2010, 15:10
Beim .Free gibst du die MMF-Handles/Pointer nicht mit frei.
Diese bleiben aktiv/nutzbar, selbst wenn man das FileHandle schließt.

Ab Delphi 2009 könnte/wird es einige Probleme mit deinen PChars geben.


PS:
Delphi-Quellcode:
SetString(AValue, nil, LineLen);
CopyMemory(PChar(AValue), StartPointer, LineLen);
// aka
SetLength(AValue, LineLen);
CopyMemory(PChar(AValue), StartPointer, LineLen);

// entspricht
SetString(AValue, StartPointer, LineLen);
  Mit Zitat antworten Zitat
Benutzerbild von jaenicke
jaenicke

 
Delphi 10.4 Sydney
 
#3
  Alt 6. Jun 2010, 15:32
Beim .Free gibst du die MMF-Handles/Pointer nicht mit frei.
Und das mir...
Danke, ich habe es korrigiert (neue Version liegt oben).

Ab Delphi 2009 könnte/wird es einige Probleme mit deinen PChars geben.
Deshalb steht da ja auch, dass nur Delphi 2006 unterstützt wird. Denn bei Unicode schummele ich ja ganz schön, da ich nur die Ascii-Hälfte auslese. Probleme gibts eben, wenn es "echte" Unicodezeichen in der Datei gibt.
Vielleicht setze ich das bald auch nochmal sauber um, so dass es auch mit D2009/D2010 geht. Wenn ich mal die Zeit finde.

PS:
Delphi-Quellcode:
// entspricht
SetString(AValue, StartPointer, LineLen);
Nicht ganz, nen Cast muss noch sein, aber ich habe es entsprechend angepasst, ich weiß gar nicht warum ich das nicht sowieso gemacht hatte.
Danke
Sebastian Jänicke
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

 
Delphi 10.4 Sydney
 
#4
  Alt 6. Jun 2010, 15:44
Achso, dachte du meinst ab Delphi 2006.

Vom Code her könnte es sogar von Delphi 7 bis 2007 laufen (so vom Ansehn her)

Du könntest ja einen Hinweis einfügen, welcher sich notfalls meldet.
Delphi-Quellcode:
{$IF CompilerVersion >= 20.0}
  {$MESSAGE Fatal 'this is not compatible with unicode (Delphi 2009+)'}
{$IFEND}
Aber am Einfachsten du verwendest erstmal AnsiString und PAnsiChar, dann wäre es zumindestens in D2009+ lauffähig und dann halt nur Sowas oder garkein Hinweis.
Delphi-Quellcode:
{$IF CompilerVersion >= 20.0}
  {$MESSAGE Hint 'this are only an ANSI-Version'}
{$IFEND}

OK, dann kann ich ja weiterhin für meinen TTextStream Werbung machen, welcher ja grundsätzlich nur für die Unicodedelphis ausgelegt ist.

[add]
CreateFile liefert keine 0 bei Fehlern.

Und da die Datei doch eh sequentiell gelesen wird, könnte man dieses Windows mitteilen, damit es vielleicht noch'n bissl die Cache optimieren kann.

Und die leere Exception ist auch nett.

Delphi-Quellcode:
FFile := CreateFile(PChar(AFileName), GENERIC_READ, FILE_SHARE_READ, nil,
  OPEN_EXISTING, FILE_FLAG_SEQUENTIAL_SCAN, 0);
if FFile = INVALID_HANDLE_VALUE then
  RaiseLastOSError;
FSize := FileSeek(FFile, Int64(0), Ord(soEnd));
FMapping := CreateFileMapping(FFile, nil, PAGE_READONLY, 0, 0, nil);

Geändert von himitsu ( 6. Jun 2010 um 16:21 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von jaenicke
jaenicke

 
Delphi 10.4 Sydney
 
#5
  Alt 6. Jun 2010, 18:38
So, ich habe mich da nochmal rangesetzt. Es funktionieren jetzt Delphi 6 bis 2010 und Unicodedateien genauso wie Ansidateien. Wobei die Unicodedateien bei Delphi <= 2007 eben so gut es geht auf Ansi gefaltet werden.

Nebenbei:
Entstanden ist das als Nebenprodukt eines schnellen Registryeditors, deshalb weiß ich nicht ob auch andere Unicodedateien usw. korrekt erkannt werden. Die .reg Dateien funktionieren auf jeden Fall.

[add]
CreateFile liefert keine 0 bei Fehlern.
Nein, aber laut Doku INVALID_HANDLE_VALUE, und genau das frage ich ja ab.
Sebastian Jänicke
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

 
Delphi 10.4 Sydney
 
#6
  Alt 6. Jun 2010, 19:18

Delphi-Quellcode:
FFile := CreateFile(PChar(AFileName), GENERIC_READ, FILE_SHARE_READ, nil,
  OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, 0);
if FFile = 0 then
  raise Exception.Create('')
else
Also, solange ein BOM vorhanden ist, wird Unicode theoretisch korrekt gelesen.
OK, ohne BOM ist keine automatische Auswahl möglich und dann stört es nicht wenn immer das erste Zeichen in der Datei ignoriert wird (da es ja nur ein BOM sein kann)

Geändert von himitsu ( 6. Jun 2010 um 19:23 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von jaenicke
jaenicke

 
Delphi 10.4 Sydney
 
#7
  Alt 6. Jun 2010, 20:34
Tut mir leid, irgendwie bin ich da mit den Projekten durcheinander gekommen. In einem anderen hatte ich INVALID_HANDLE_VALUE benutzt.
Ich habe es korrigiert.
Sebastian Jänicke
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

 
Delphi 10.4 Sydney
 
#8
  Alt 6. Jun 2010, 21:15
Macht nix.

Das ist auch einer der Gründe, warum ich viele Projekte überarbeite,
da die verschiedensten Codes extrahiere in diese als "Einzelprojekte" nun global verwalte und auch hier inner DP mit hochlad.
(die DPler als Bugfinder finden mehr, als man selber)

Weil auch ich irgendwann mal den Überblick verlor, vorallem wenn man fast das Selbe in verschiedenen Projekten nutzt.
(nja, und gleichzeitig wird die Gelegenheit für eine komplette Überprüfung/Überarbeitung/Neuaufsetzung genutzt)

Geändert von himitsu ( 6. Jun 2010 um 21:18 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von jaenicke
jaenicke

 
Delphi 10.4 Sydney
 
#9
  Alt 6. Jun 2010, 22:49
Genau, ich benutze dafür NTFS Junctions. Das heißt das Source-Verzeichnis der verschiedenen Projekte klinke ich in das der Programme ein, die diese nutzen.

Dadurch kann ich die Buildskripte sehr einfach basteln und die ganzen verwendeten Units einfach einpacken ohne die von überallher zusammenkopieren zu müssen.
Und nebenbei nimmt das auch sehr viel Arbeit ab, wenn man jeweils für Zusammenstellung und Upload der Pakete einer neuen Version nur ein Skript ausführen muss.

Dem Reader fehlt jetzt nur noch die Unterstützung beliebiger Datentypen. Und ich überlege ob ich die Klasse vielleicht besser von TStream ableiten und so standardisieren sollte. Das würde die universelle Verwendung einfacher machen. Da man auch dort meistens sequentiell liest oder schreibt könnten auch dann MMFs noch Vorteile bringen. Aber das muss ich noch überlegen und testen.
Sebastian Jänicke
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

 
Delphi 10.4 Sydney
 
#10
  Alt 7. Jun 2010, 10:09
Beliebige Dateitypen?
  Mit Zitat antworten Zitat
Antwort Antwort
Seite 1 von 2  1 2   

Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 21:29 Uhr.
Powered by vBulletin® Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2021 by Daniel R. Wolf