AW: csv Datei Import ClassHelper für TClientDataSet
Zitat:
|
AW: csv Datei Import ClassHelper für TClientDataSet
Wenn ich jemandem mal eine Testdatei geben soll .... müsste ich dann nur schnell umarbeiten weil im Moment sind das echte Kundendaten - dann mache ich das gerne :-)
Hans |
AW: csv Datei Import ClassHelper für TClientDataSet
Ich verstehe den Sinn dieser Zeile nicht:
Delphi-Quellcode:
QuotedChar in der CSV ist das ".
slFile[i] := StringReplace(slFile[i], '"', '''', [rfReplaceAll, rfIgnoreCase]);
Warum das " durch das ' ersetzen? Hast Du denn dann auch QuotedChar auf ' gesetzt? Wenn nein, dann ist das (zusammen mit StrictDelimiter:=False) wie russisch Roulette. Irgend wann geht der Schuss los, aber man weiß nicht, wen es wann trifft. |
AW: csv Datei Import ClassHelper für TClientDataSet
Hi Folks,
hier eine Implemtierung für LF in Quoted-Fields:
Code:
Über Feedback würde ich mich freuen.// v1.1 - 26.02.2019 - Blackpit: Anpassung LF in Quotes /// ///////////////////////////////////////////////////////////////////////////// procedure TClientDataSetCsvClassHelper.LoadFromFile; var myString :Variant; slFile :TStringList; slRow :TStringList; x :Integer; i :Integer; j :Integer; myPos :Integer; myFields :Integer; cntFields :Integer; begin slFile := TStringList.Create; slRow := TStringList.Create; try myPos := 0; slRow.Delimiter := Delimiter; slRow.QuoteChar := QuoteChar; slRow.StrictDelimiter := True; slFile.StrictDelimiter := True; slFile.LoadFromFile( Filename ); // ClientDataset Initialisieren if slFile.Count > 0 then begin Active := False; for x := 0 to slFile.Count - 1 do begin myString := ''; if (x = 0) then begin myPos := x; // Build Header for DS slRow.DelimitedText := slFile[0]; if FirstLineTitle then myFields := slRow.Count; FieldDefs.Clear; for i := 0 to myFields - 1 do begin if FirstLineTitle and ( slRow[i] <> '' ) then begin FieldDefs.Add( slRow[i], ftWideString, StringLength ); end else begin FieldDefs.Add( Format( 'Field%d',[i]), ftWideString, StringLength ); end; end; CreateDataSet; Active := True; myString := slFile[myPos]; end; begin if (x=0) and FirstLineTitle then inc( myPos ); if myPos = slFile.Count then break; myString := slFile[myPos]; cntFields := length( myString )- length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase])); while cntFields < (myFields-1) do begin inc( myPos ); myString := myString+slFile[myPos]; cntFields := length( myString )- length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase])); end; end; // fill TClientDataset DisableControls; if (myPos > 0) then begin slRow.DelimitedText := myString; Append; for j := 0 to slRow.Count - 1 do begin Fields[j].AsString := slRow[j]; end; Post; end; EnableControls; inc( myPos ); end; end; finally slFile.Free; slRow.Free; end; end; HTH somebody ;) |
AW: csv Datei Import ClassHelper für TClientDataSet
Sieht auf den ersten Blick OK aus.
Ich sehe das Du immer einen Header in der CSV-Datei erwartest. Da würde ich eine Option machen, so das auch "Headerlose" CSV erzeugt werden können, z.B. mit Dummynamen "Field1", "Field2" |
AW: csv Datei Import ClassHelper für TClientDataSet
Zitat:
ich glaube Deine Lösung würde fehlschlagen, wenn in der 1. Zeile schon ein CRLF in einem Feld enthalten ist. Wenn ich das beim Lesen richtig verstanden habe entfernst Du einfach die CRLF
Delphi-Quellcode:
. Sie sind dann auch beim Speichern nicht mehr enthalten.
myString := myString + slFile[myPos];
Ich würde noch einen anderen Ansatz vorstellen. Man könnte die CRLF in den Quoted Fields auch per Regular Expression identifizieren und dann durch ein String ersetzen. Beim Zuweisen der Felder würde man das dann wieder rückgängig machen. Damit sind die CRLF auch in den Datenbank Feldern enthalten. Damit würde das Beispiel eines ClassHelpers und der einfachen Konvertierung von CSV Dateien via TStringList um ein Beispiel zur Verwendung von System.RegularExpressions und die Verwendung eines Records zum "Erzeugen einer Methode" erweitert ;) Ich hab mal schnell so was zum Maskieren der CRLF geschrieben. In diesem Beispiel wird das " verwendet. Das kann man natürlich auch noch variabel gestalten. Der String
Delphi-Quellcode:
müsste dann entsprechende angepasst werden.
'"[^"]*\n[^"]*"'
Bei Param
Delphi-Quellcode:
wäre das dann so was wie
const QuoteChar: Char = '"'
Delphi-Quellcode:
oder
QuoteChar+'[^'+QuoteChar+']*\n[^'+QuoteChar+']*'+QuoteChar
Delphi-Quellcode:
.
Format('%s[^%0:s]*\n[^%0:s]*%0:s', [QuoteChar])
Anmerkung zu RegEx. Der verwendete Ausdruck
Delphi-Quellcode:
wurde von mir verwendet, da
'"[^"]*\n[^"]*"'
Delphi-Quellcode:
nicht funktioniert, da das * greedy ist. (Siehe https://www.regular-expressions.info/repeat.html )
'".*\n.*"'
Anmerkung zum Replace: Ich habe das an das Beispiel aus der Dokumentation angelehnt (Siehe http://docwiki.embarcadero.com/CodeE...place_(Delphi) ) Mit MaskCRLF werden alle CRLF in "" durch ^P ersetzt. Mit UnMaskCRLF wird das wieder zu CRLF. In LoadFromFile müssten nur 2 Zeilen ergänzt werden. SaveToFile müsste natürlich auch entsprechend geändert werden.
Delphi-Quellcode:
Hier ist die verwendete Unit2.pas:
...
uses Unit2; // Die Unit einbinden. ... // TClientDataset füllen DisableControls; slFile.Text := MaskCRLF(slFile.Text); // <----- Diese Zeile ist neu ;) for i := 0 to slFile.Count - 1 do begin slRow.DelimitedText := slFile[i]; Append; for j := 0 to slRow.Count - 1 do begin // Fields[j].AsString := slRow[j]; Fields[j].AsString := DeMaskCRLF(slRow[j]); // <----- Diese Zeile wurde geändert ;) end; Post; end; EnableControls; ... (Ich hab sie noch nicht gespeichert, deshalb hab ich mir auch noch keinen Gedanken über den Unit-Namen gemacht ;)
Delphi-Quellcode:
unit Unit2;
interface function MaskCRLF(const Source: string; Mask: string = '^P'): string; function DeMaskCRLF(const Source: string; Mask: string = '^P'): string; implementation uses System.SysUtils, System.RegularExpressions; type TmyReplaceRec = record Mask: string; function MyReplace(const Match: TMatch): string; end; function TmyReplaceRec.MyReplace(const Match: TMatch): string; begin Result := System.SysUtils.StringReplace(Match.Value, #13#10, Mask, [rfReplaceAll]); end; function MaskCRLF(const Source: string; Mask: string): string; var mr: TmyReplaceRec; begin mr.Mask := Mask; Result := TRegEx.Replace(Source, '"[^"]*\n[^"]*"', mr.MyReplace, [roSingleLine]); end; function DeMaskCRLF(const Source: string; Mask: string): string; begin Result := System.SysUtils.StringReplace(Source, Mask, #13#10, [rfReplaceAll]); end; end. |
AW: csv Datei Import ClassHelper für TClientDataSet
Ihr macht da viel zu viel Brimborium drum.
Hier mal drei Zeilen CSV
Code:
Die mittlere hat Felder mit Zeilenumbrüchen.
"a","b","c"
"A a","B b","C c" a,b,c Jetzt die Theorie: Die Datenzeile ist komplett, wenn die Anzahl der Quote-Zeichen gerade ist. Also liest man Zeile für Zeile ein, bis man eine gerade Anzahl an Quote-Zeichen hat und gibt diese dann der
Delphi-Quellcode:
Instanz zum auseinandernehmen.
TStringList
Die erste Zeile hat gleich 6 Quote-Zeichen - ist also komplett. Die nächste Zeile hat 1 Quote-Zeichen - ist also nicht komplett. Mit der nächsten Zeile hat man 3 Quote-Zeichen - ist also nicht komplett. Mit der nächsten Zeile hat man 5 Quote-Zeichen - ist also nicht komplett. Mit der nächsten Zeile hat man 6 Quote-Zeichen - ist also komplett. Die letzte Zeile hat 0 Quote-Zeichen - ist also komplett. KISS |
AW: csv Datei Import ClassHelper für TClientDataSet
@Rollo62
könnte sein das du zu schnell drauf geschaut hast ;) @MaBuSE Um CrLf ging es mir gar nicht. Ich hatte Probleme mit Dateien die auch Linefeed als Satztrenner haben. Bei Dateien mit CrLf als Satztrenner hätte vmtl. TStringList kein Problem. Deinen Vorschlag mit RegEx werde ich mal testen, wobei es mir gar nicht um den erhalt ging. @Schokohase In der Art habe ich es gemacht, jedoch mit den Delimitern. |
AW: csv Datei Import ClassHelper für TClientDataSet
Zitat:
Du hast damit aber einen bösen Bug in deinem Code. Diese Zeile mit 3 Feldern
Code:
und dein Code
a,"b,b",c
Delphi-Quellcode:
liefert 3 zurück, obwohl du hier eine 2 benötigen würdest, denn es befinden sich in der Zeile 2 Feldtrenner. Das andere Komma gehört den Daten.
cntFields := length( myString )-
length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
Delphi-Quellcode:
kann das aber nicht unterscheiden.
StringReplace
Du zählst also die Feldtrenner, was aber wie gezeigt fehleranfällig ist. Mein Vorschlag ist es die Quote-Zeichen zu zählen, was immer passt. |
AW: csv Datei Import ClassHelper für TClientDataSet
Zitat:
Und Du wolltest ein paar Feedbacks bekommen. |
Alle Zeitangaben in WEZ +1. Es ist jetzt 12:30 Uhr. |
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz