UTF8 - Große csv-Datei Zeilenweise lesen

[Pfaffe2]

Delphi 2009

Früher konnte man mit folgender Varaiante eine Textdatei zeilenweise lesen, jedoch funktioniert das nicht mit UTF8 kodierten Dateien:

Delphi-Quellcode:

F: TextFile;
lStr: string;
...
AssignFile(F, OpenDialog1.Filename);
Reset(F);
while not Eof(F) do begin
  Readln(F, lStr);
  Do_Auswerten(lStr);
end;

OK mit Hilfe einer Stringliste kann ich die UTF8 Daten laden und auswerten:

Delphi-Quellcode:

lStringList:= TStringList.create;
try
  lStringList.LoadFromFile(OpenDialog1.FileName, TEncoding.UTF8);
  for i:= 0 to StringList.count-1 do begin
    Do_Auswerten(lStringList[i]);
  end;
finally
  lStringList.free
end;

Diese Variante hat jedoch den Nachteil, dass die Datei erstmal komplett in den RAM geladen werden muss.

Gibt es auch eine Variante eine UTF8-Datei zeilenweise auszuwerten ohne sie komplett in den RAM zu laden?

[edit=SirThornberry]Titel geändert - Mfg, SirThornberry[/edit]

[Bernhard Geyer]

Ja, indem du selbst mit TFileStream arbeitest und die Textdatei "häppchenweise" einlist und nach CRLF untersuchst.

[himitsu]

Delphi-Quellcode:

F: TextFile;
aStr: RawByteString; 
//lStr: String;
...
AssignFile(F, OpenDialog1.Filename);
Reset(F);
while not Eof(F) do begin
  ReadLn(F, aStr);
  //lStr := Utf8Decode(aStr);
  //Do_Auswerten(lStr);
  Do_Auswerten(Utf8Decode(aStr));
end;

Diese alten "Pascal"-Funktionen arbeiten, auch unter D2009/2010, immer nur mit ANSI (oder notfalls anderen Single-Byte-Codierungen), selbt wenn man ihnen einen String/WideString/UnicodeString übergibt.

[p80286]

Zitat von Pfaffe2:

Früher konnte man mit folgender Varaiante eine Textdatei zeilenweise lesen, jedoch funktioniert das nicht mit UTF8 kodierten Dateien:

Was funktioniert denn da nicht?
das CRLF ist doch von UTF8 nicht betroffen oder?

Gruß
K-H

[himitsu]

Zitat von p80286:

Was funktioniert denn da nicht?

Delphi dekodiert das nur nicht automatisch

Zitat von p80286:

das CRLF ist doch von UTF8 nicht betroffen oder?

Die bekannten Steuercodes #0 bis #31 liegen ja unterhalb von #128 (im 7-Bit-Bereich) und werden nicht umcodiert.

[Pfaffe2]

Danke für die Antworten.
TFileStream ist wohl die Alternative.

[himitsu]

TFileStream + TStringStream könnte auch hilfreich sein.

[Pfaffe2]

lStringStream.LoadFromFile() ist aber keine Alternative, da auch hier die komplette Datei geladen wird.

Folgendes funktioniert:

Delphi-Quellcode:

F: TextFile;
lStr: string;
...
AssignFile(F, OpenDialog1.Filename);
Reset(F);
while not Eof(F) do begin
  Readln(F, lStr);
  lStr:= UTF8ToWideString(lStr);
  Do_Auswerten(lStr);
end;

[SirThornberry]

Zitat von Pfaffe2:

lStringStream.LoadFromFile()

Du kannst ja auch einen Filstream nehmen und anstelle die Datei in einem Rutsch komplett einzulesen liest du sie (wie bereits von anderen erwähnt) Stückchenweise ein bis ein Zeilenumbruch kommt.

[himitsu]

Ups, ich dachte man kann dem StringStream auch einen anderen Stream übergeben, aber da hatte ich wohl was werwechselt ... mal sehn, wenn ich ein bissl aufgeräumt hab, dann lade ich meine Klasse vielleicht hoch.