AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Projekte SJ MMF File Reader 0.2 - Schneller Textdatei Reader

SJ MMF File Reader 0.2 - Schneller Textdatei Reader

Ein Thema von jaenicke · begonnen am 6. Jun 2010 · letzter Beitrag vom 17. Jul 2010
Antwort Antwort
Seite 2 von 2     12
Benutzerbild von jaenicke
jaenicke
Registriert seit: 10. Jun 2003
Hallo!

Diese Unit stellt eine Klasse zum schnellen zeichenweisen sequentiellen Auslesen von Textdateien bereit. Dabei werden Memory Mapped Files benutzt, so dass der entsprechende Teil der Datei zuerst in den Arbeitsspeicher eingeblendet wird.
Die Buffergröße ist entsprechend der eigenen Anforderungen einstellbar.

Derzeit wird nur das Auslesen von Strings mit einem festlegbaren Delimiterzeichen unterstützt, aber ich werde noch das Auslesen anderer Datentypen usw. implementieren.

Eine Demo ist mit im Download enthalten, dort wird auch auf Wunsch die Geschwindigkeit gemessen. Dabei komme ich hier bei mir auf ca. 84 MiB/s, also schon eine extrem hohe Geschwindigkeit:
http://www.sj-berlin.de/service/df/s...easurement.png

Features:
  • Schnelles Lesen von Strings via ReadLn
  • Festlegen des gewünschten Delimiters
  • Destlegen der Buffergröße zur besseren Anpassung an eigene Daten
  • Delphi 2009 und 2010 Unterstützung inkl. Unicodedateien *neu*
Lizenz:
MPL 1.1 oder GPL 2.0 oder LGPL 2.1

Installation:
Die Unit muss entweder in den Bibliothekspfad aufgenommen oder dem Projekt hinzugefügt werden, damit die Unit über die uses-Klausel eingebunden werden kann. Dann genügt es das Objekt zu erstellen und damit zu arbeiten:
Delphi-Quellcode:
var
  FileReader: TSJMmfFileReader;
begin
  FileReader := TSJMmfFileReader.Create(edtFileName.Text);
  try
    while FileReader.Position < FileReader.Size do
    begin
      FileReader.Readln(CurrentReadString);
      // ...
    end;
  finally
    FileReader.Free;
  end;
Unterstützte Delphiversionen:
Delphi 6, 7, 2006, 2010
(andere nicht getestet, aber es sollte ab Delphi 6 überall gehen)

Unterstützte Windowsversionen:
Windows 2000, XP, Vista und 7

Weitere Planung:
  • Weitere Datentypen hinzufügen
  • Direkter Zugriff auf den Speicherbereich
Bekannte Probleme:
  • keine

Ich habe die Unit auch hier vorgestellt:
http://www.delphi-forum.de/viewtopic...=607865#607865
http://forum.delphi-treff.de/showthr...333#post210333

Schönen Gruß,
Sebastian
Miniaturansicht angehängter Grafiken
mmfreaderspeedmeasurement.png  
Angehängte Dateien
Dateityp: zip SJMmfFileReader0.21.zip (256,8 KB, 164x aufgerufen)
Dateityp: zip SJMmfFileReader0.21_src.zip (36,3 KB, 185x aufgerufen)
Alle eigenen Projekte sind eingestellt, ebenso meine Homepage, Downloadlinks usw. im Forum bleiben aktiv!

Geändert von jaenicke ( 6. Jun 2010 um 20:33 Uhr)
 
idefix2

 
RAD-Studio 2009 Pro
 
#11
  Alt 7. Jun 2010, 10:38
Was ich gerne wissen würde: Welchen Vorteil bringt ein TFileStream gegenüber einem normalen Textfile, vor allem bei sequenziellem Zugriff? Ich stelle mir vor, das beim sequentiellen Lesen ein Textfile genauso im Windows Cache gepuffert wird wie ein Filestream, und dass deshalb hinsichtlich der Geschwindigkeit kaum ein Vorteil zu erzielen ist?
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

 
Delphi 10.4 Sydney
 
#12
  Alt 7. Jun 2010, 10:55
Erstmal kann AssignFile+ReadLn nur mit ANSI-Dateien umgehen (auch unter Delphi 2009+).

Standardmäßig hat diese wirklich alte Pascal-Funktion auch für Textdateien einen sehr schlecht eingestellten eigenen Puffer (gut, daß kann man etwas ändern)

Und dann sind diese Funktionen auch nicht gerade OOP-Konform.
TStringList, TStringStream und Co. haben das "Problem, daß sie die komplette Datei in den Arbeitsspeicher laden, also schlecht für große Dateien.
  Mit Zitat antworten Zitat
Benutzerbild von p80286
p80286

 
Delphi 7 Personal
 
#13
  Alt 7. Jun 2010, 14:11
Erstmal kann AssignFile+ReadLn nur mit ANSI-Dateien umgehen (auch unter Delphi 2009+).
Geschenkt (warum ist das eigentlich noch immer so?)
Standardmäßig hat diese wirklich alte Pascal-Funktion auch für Textdateien einen sehr schlecht eingestellten eigenen Puffer (gut, daß kann man etwas ändern)
Wer es nicht tut dem ist nicht zu helfen, obwohl bei einem solchen Hilfetext auch nicht Naheliegend (D7 settextbuf):
Zitat:
Jede Textdateivariable verfügt über einen internen 128 Byte großen Puffer, in dem die Read- und Write-Operationen zwischengespeichert werden. Die Standardgröße des Puffers ist für die meisten Operationen ausreichend. Bei Programmen mit umfangreichen E/A-Operationen kann der Puffer vergrößert werden, um die Anzahl der Festplattenzugriffe zu verringern und das Dateisystem zu entlasten.
Und dann sind diese Funktionen auch nicht gerade OOP-Konform.
Und wie wirkt sich das aus?

TStringList, TStringStream und Co. haben das "Problem, daß sie die komplette Datei in den Arbeitsspeicher laden, also schlecht für große Dateien.
Da kommt es doch wohl darauf an was ich mit den Daten machen will. Auch bei TStringlist od Co verbietet mir niemand erst einmal ein paar Zeilen für dem Mülleimer zu lesen, und dann erst die Zeilen in den Speicher zu laden (für die weitere Verarbeitung).

Was wirklich fehlt ist ein seek was auf Zeilenbasis funktioniert.

Gruß
K-H
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

 
Delphi 10.4 Sydney
 
#14
  Alt 7. Jun 2010, 14:22
Und wie wirkt sich das aus?
Nicht viel ... eigentlich nur in der Art der Verwendung.

Die Dateivariable ist ein großer Record (auch wenn man es ihr nicht ansieht)
Und dieses kann bei Weitergabe an andere Funktionen Probleme bereiten (es muß mit VAR übergeben werden und der Compiler bemängelt ein Fehlen von VAR nicht).

Was wirklich fehlt ist ein seek was auf Zeilenbasis funktioniert.
Sowas ist nicht gerade einfach, vorallem wenn man dann auch gleich noch eventuelle Schreibzugriffe mit in Betracht zieht.
Hier hab ich ja sowas versucht umzusetzen und da steckt jetzt schon eine ganze Menge an Arbeit drin und dennoch gefällt es mir noch nicht richtig.

(warum ist das eigentlich noch immer so?)
Kompatibilitätsgründe für alte Codes.
Praktisch sind diese funktionen nur noch für eine Abwärtskompatibilität enthalten und da hat man sich eine Umstellung einfach gespart und nur alles so geändert, daß der Dateiinhalt sicher mit Ansi läuft (AnsiString, AnsiChar-Array und Co.)

Geändert von himitsu ( 7. Jun 2010 um 14:34 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von jaenicke
jaenicke

 
Delphi 10.4 Sydney
 
#15
  Alt 3. Jul 2010, 13:29
Ich möchte an der Stelle auch einmal auf eine Umsetzung als Stream von Flamefire hinweisen:
http://www.delphi-forum.de/viewtopic.php?t=100088
Es ist praktisch eine Weiterentwicklung als Nachfahre von TStream und damit universell einsetzbar. Da er dies dort schon umgesetzt hat, spare ich mir den Aufwand, denn etwas ähnliches hatte ich auch im Sinn.
Sebastian Jänicke
  Mit Zitat antworten Zitat
Jens01
 
#16
  Alt 17. Jul 2010, 00:31
Hallo Sebastian,

ich habe versucht, Dein Programm für meine Zwecke zu erweitern. Das ist mir auch gelungen, aber an einer Stelle haut es ihn immer wieder raus. Er soll die Position eines String suchen und setzt gleichzeitig die Position des Readers auf diese :

Beispiel :
f := TSJMmfFileReader.Create(Dateiname);
f.Position := f.StringPos(S);

Delphi-Quellcode:
function TSJMmfFileReader.StringPos(AValue: string): Int64;
var
  s: string;
begin
  Result := -1;

  while Position < FSize do
  begin
    ReadLn(s);
    if s = AValue then
    begin
      Result := Position;
      Exit;
    end;
  end;
end;
Das Setzen der Position geht bei mir solange gut, bis ich zu einer Position mit der Größe von 2.386.487 komme. Bei SetPosition ruft er ReInitView auf. MapViewOfFile setzt dann FPointer auf nil. In ReadLn haut es ihn dann raus.

Kannst Du mir sagen, was ich falsch mache?

Gruss Jens

Edit:
Sooo..., warum der Fehler auftritt, weiß ich immer noch nicht, aber so scheint es zu funktionieren :

Beispiel:
f := TSJMmfFileReader.Create(Dateiname);
f.GotoString(S);

Delphi-Quellcode:
function TSJMmfFileReader.GotoString(AValue: string): Boolean;
var
  s: string;
begin
  Result := False;
  Position := 0;

  while Position < FSize do
  begin
    ReadLn(s);
    if s = AValue then
    begin
      Result := True;
      Exit;
    end;
  end;
end;

Geändert von Jens01 (17. Jul 2010 um 13:05 Uhr)
  Mit Zitat antworten Zitat
Jens01
 
#17
  Alt 17. Jul 2010, 00:36
Hier noch einige Erweiterungen. Vielleicht sind sie hilfreich.

Delphi-Quellcode:
uses
  .., AnsiStrings, Math;

procedure TSJMmfFileReader.ReadlnFloat(var AValue: Double);
var
  s: string;
begin
  Readln(s);
  if ContainsText(UpperCase(s), '+INF') then
  begin
    AValue := Infinity;
    Exit;
  end;
  if ContainsText(UpperCase(s), '-INF') then
  begin
    AValue := NegInfinity;
    Exit;
  end;
  if ContainsText(UpperCase(s), 'NAN') then
  begin
    AValue := NaN;
    Exit;
  end;
  s := StringReplace(s, '.', ',', [rfReplaceAll]);
  AValue := StrToFloat(s);
end;
Delphi-Quellcode:
procedure TSJMmfFileReader.ReadlnBool(var AValue: Boolean);
var
  s: string;
begin
  Readln(s);
  if UpperCase(s) = 'TRUEthen
    AValue := True;
  if UpperCase(s) = 'FALSEthen
    AValue := False;
end;
Delphi-Quellcode:
procedure TSJMmfFileReader.ReadlnInt(var AValue: Integer);
var
  s: string;
begin
  Readln(s);

  AValue := StrToInt(s);
end;
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 08:33 Uhr.
Powered by vBulletin® Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2021 by Daniel R. Wolf