AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Code-Bibliothek Neuen Beitrag zur Code-Library hinzufügen Delphi csv Datei Import ClassHelper für TClientDataSet

csv Datei Import ClassHelper für TClientDataSet

Ein Thema von MaBuSE · begonnen am 26. Okt 2011 · letzter Beitrag vom 24. Mai 2019
Antwort Antwort
Seite 6 von 7   « Erste     456 7   
Schokohase
(Gast)

n/a Beiträge
 
#51

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 19. Mai 2019, 19:59
Ohne Worte

Obwohl, das ist jetzt Copy-Paste der Beispiel-Daten aus dem Beitrag #47 in Visual Studio Code eingefügt und als CSV-Datei abgespeichert.

Währenddessen habe ich auch noch ein- und ausgeatmet.
Angehängte Dateien
Dateityp: zip test1.csv.zip (623 Bytes, 14x aufgerufen)

Geändert von Schokohase (19. Mai 2019 um 20:02 Uhr)
  Mit Zitat antworten Zitat
Blackpit

Registriert seit: 27. Feb 2019
77 Beiträge
 
#52

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 21. Mai 2019, 21:49
@Schokohase
Ich bin ja froh das deine Datei auch nicht die Anforderung erfüllt
Zitat von Schokohase:
Meine Testdaten
Delphi-Quellcode:
'a;b;c;d' + sLineBreak +
'a;"b;b";"c'#10'c";d'
mit dieser Version wird aber auch deine Datei eingelesen
Delphi-Quellcode:
procedure TClientDataSetCsvClassHelper.LoadFromFile;
var
  myString :Variant;
  slFile :TStringList;
  slRow :TStringList;
  x,i,j :Integer;
  myPos :Integer;
  myFields :Integer;
  cntFields :Integer;
begin
  slFile := TStringList.Create;
  slRow := TStringList.Create;
  try
    myPos := 0;
    slRow.Delimiter := Delimiter;
    slRow.QuoteChar := QuoteChar;
    slRow.StrictDelimiter := True;
    slFile.StrictDelimiter := True;
    slFile.LoadFromFile( Filename );

      // ClientDataset Initialisieren
    if slFile.Count > 0 then
    begin
      Active := False;
      for x := 0 to slFile.Count - 1 do
      begin
        myString := '';
        if (x = 0) then
        begin
          myPos := x;
            // Build Header for DS
          slRow.DelimitedText := slFile[0];
          if FirstLineTitle then myFields := slRow.Count else
           begin
           if (length( slFile[0] )-
              length( stringreplace( slFile[0], QuoteChar,'',[rfreplaceall, rfIgnoreCase])) mod 2 = 0) then
           myFields := length( slFile[0] )-
              length( stringreplace( slFile[0], Delimiter,'',[rfreplaceall, rfIgnoreCase]))
           else myFields := slRow.Count;
          FieldDefs.Clear;
          for i := 0 to myFields - 1 do
            begin
              FieldDefs.Add( Format( 'Field%d',[i]), ftWideString, StringLength );
            end;
          end;
          if FirstLineTitle then
          begin
          for i := 0 to myFields - 1 do
              FieldDefs.Add( slRow[i], ftWideString, StringLength );
          end;
          CreateDataSet;
          Active := True;
          myString := slFile[myPos];
        end;
        begin
        if (x=0) and FirstLineTitle then inc( myPos );
        if myPos = slFile.Count then break;
        myString := slFile[myPos];
        cntFields := length( myString )-
              length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
          while cntFields <= (myFields-1) do
          if FirstLineTitle and (cntFields < (myFields-1)) then
            begin
              inc( myPos );
              myString := myString+slFile[myPos];
              cntFields := length( myString )-
                length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
            end
            else
            if not FirstLineTitle and (x <> 0) then
            begin
              inc( myPos );
              myString := slFile[myPos];
             if (length( myString )-
                length( stringreplace( myString, QuoteChar,'',[rfreplaceall, rfIgnoreCase])) mod 2 <> 0) then
                begin
                myString := slFile[myPos-1]+myString;
                cntFields := length( myString )-
                  length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
                end
             else
                cntFields := length( myString )-
                  length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
            end
            else break;
        end;
          // fill TClientDataset
        DisableControls;
        begin
          slRow.DelimitedText := myString;
          Append;
          for j := 0 to slRow.Count - 1 do
          begin
            Fields[j].AsString := slRow[j];
          end;
          Post;
        end;
        EnableControls;
        inc( myPos );
      end;
    end;
  finally
    slFile.Free;
    slRow.Free;
  end;
end;

Geändert von Blackpit (21. Mai 2019 um 22:30 Uhr)
  Mit Zitat antworten Zitat
Blackpit

Registriert seit: 27. Feb 2019
77 Beiträge
 
#53

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 22. Mai 2019, 18:16
Ich gehe davon aus, das dieser Code nun fast RFC-konform ist (noch nicht ganz, da die Feldermittlung ohne FirstTitleLine noch Optimierungsbedarf hat).
Eine Textdatei mit CrLF und LF kommt einem im Alltag nicht unter, außer vielleicht zu Ostern

Geändert von Blackpit (22. Mai 2019 um 18:44 Uhr)
  Mit Zitat antworten Zitat
Schokohase
(Gast)

n/a Beiträge
 
#54

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 22. Mai 2019, 18:48
Erkläre doch bitte, warum meine Testdaten nicht RFC konform sein sollten.

Wenn Daten aus einem System (Datenbank) exportiert werden, dann können sich wenigstens meine Kunden darauf verlassen, dass die Daten unverändert in der CSV Datei landen. Und wenn dort nur ein CR oder LF enthalten ist, dann kommt auch nur das heraus - und zwar 24 Stunden an allen 7 Tagen jeder Woche.

Der Zeilenumbruch mit CRLF ist Teil der Struktur und nicht der Daten.

Ich denke aber wir haben eine unterschiedliche Lesart der RFC. Meine deckt sich mit dem größten Teil der Entwickler und deine ... ist deine Sache.
  Mit Zitat antworten Zitat
Benutzerbild von p80286
p80286

Registriert seit: 28. Apr 2008
Ort: Stolberg (Rhl)
6.659 Beiträge
 
FreePascal / Lazarus
 
#55

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 23. Mai 2019, 12:24
https://tools.ietf.org/html/rfc4180

Ich vermute das #10 wird von Blackpit mißinterpretiert.

Gruß
K-H
Programme gehorchen nicht Deinen Absichten sondern Deinen Anweisungen
R.E.D retired error detector
  Mit Zitat antworten Zitat
Blackpit

Registriert seit: 27. Feb 2019
77 Beiträge
 
#56

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 23. Mai 2019, 17:01
https://tools.ietf.org/html/rfc4180

Ich vermute das #10 wird von Blackpit mißinterpretiert.

Gruß
K-H
Dann klärt mich doch bitte auf, bevor wir weiter aneinander vorbeireden.
Das als Grundlage:
Zitat von http://docs.embarcadero.com/products/rad_studio/delphiAndcpp2009/HelpUpdate2/EN/html/delphivclwin32/System_sLineBreak.html:
Windows systems define sLineBreak as a combination of carriage return (#13) and line feed (#10).
Linux systems define sLineBreak as simply a line feed (#10).
It is preferable to use this constabnt rather than hard code #13#10 or #10 (as appropriate) to move to a new line in a text output.
und ergänzt:
Apple systems define sLineBreak as simply a carriage return (#13).

Gruß
BP
  Mit Zitat antworten Zitat
Benutzerbild von MaBuSE
MaBuSE

Registriert seit: 23. Sep 2002
Ort: Frankfurt am Main (in der Nähe)
1.837 Beiträge
 
Delphi 10 Seattle Enterprise
 
#57

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 23. Mai 2019, 18:35
Die ganze Diskussion ist hinfällig, da es keine einheitliche CSV Format gibt.
Zitat von Wikipedia:
Ein allgemeiner Standard für das Dateiformat CSV existiert nicht, jedoch wird es im RFC 4180 grundlegend beschrieben
Diese Beschreibung ist aber nur eine mögliche. Nach der Ansi Norm sind *.csv Dateien in unserem Sprachraum mit einem Semikolon getrennt.
Excel verwendet z.B. diese Ansi Norm. Mach mal einen Doppelklick auf eine mit Komma getrennte csv Datei.
Es macht also keinen Sinn hier über Implementierungsdetails streiten.

Folgendes Beispiel ist auch NICHT rfc konform:
Code:
MaBuSE,"Hauptstraße 5",12345,Musterstadt
(Das "ß" ist nicht erlaubt.)

Das Zeilenwechsel Problem ist ja auch kein CSV spezifisches Problem. Das gibt es grundsätzlich beim Austausch von Textdateien zwischen PC <-> Unix <-> alte Mac.

Ein Zeilenwechsel kann sein #13#10, #10 oder auch #13
Letzteres war früher bei Macs, ist aber mittlerweile unüblich.

TStringList kann auf PC vernünftig nur mit #13#10 umgehen. Je nachdem wie man die Daten zuweist, wird es auch nach #13#10 umgewandelt oder nicht.
Das ist aber auch schon ewig so.

Ich habe das nach dem Laden/Zuweisen immer mit einem sl.Text := sl.Text; gelöst. Damit werden alle #13 und #10 zu #13#10 umgewandelt.

Hier zum Testen: (Leeres Form mit einem TButton und 5 TMemo)
Delphi-Quellcode:
procedure TForm1.Button1Click(Sender: TObject);
var
  sl: TStringList;
begin
  sl := TStringList.Create;
  sl.Add('Aa,Bb');
  sl.Add('"A'#13#10'a",Bb');
  sl.Add('"A'#10'a",Bb');
  sl.Add('"A'#13'a",Bb');
  Memo1.Lines.Text := sl.Text; // mit Umwandlung von #13 und #10 nach #13#10
  Memo2.Lines.Add(sl.Text); // ohne Umwandlung
  Memo3.Lines.Text := s2hex(Memo1.Lines.Text);
  Memo4.Lines.Text := s2hex(Memo2.Lines.Text);
  Memo5.Lines.Text := s2Hex(sl.Text);
end;

function TForm1.s2hex(s: string): string;
var
  i: Integer;
begin
  for i := 1 to length(s) do
   begin
     Result := Result + IntToHex(Ord(s[i]),2) + #32;
   end;
end;
-> so sieht es dann aus:

Code:
Memo1:
Aa,Bb
"A
a",Bb
"A
a",Bb
"A
a",Bb

Memo2:
Aa,Bb
"A
a",Bb
"Aa",Bb
"Aa",Bb

41 61 2C 42 62 0D 0A 22 41 0D 0A 61 22 2C 42 62 0D 0A 22 41    0A 61 22 2C 42 62 0D 0A 22 41 0D   61 22 2C 42 62 0D 0A       // sl.Text
41 61 2C 42 62 0D 0A 22 41 0D 0A 61 22 2C 42 62 0D 0A 22 41 0D 0A 61 22 2C 42 62 0D 0A 22 41 0D 0A 61 22 2C 42 62 0D 0A       // sl.Text nach Text := Text
41 61 2C 42 62 0D 0A 22 41 0D 0A 61 22 2C 42 62 0D 0A 22 41 0D 0A 61 22 2C 42 62 0D 0A 22 41 0D 0A 61 22 2C 42 62 0D 0A       // Memo1.Lines.Text
41 61 2C 42 62 0D 0A 22 41 0D 0A 61 22 2C 42 62 0D 0A 22 41    0A 61 22 2C 42 62 0D 0A 22 41 0D   61 22 2C 42 62 0D 0A 0D 0A // Memo2.Lines.Text mit zusätzlichem #13#10 am Ende (durch das Add)
(°¿°) MaBuSE - proud to be a DP member
(°¿°) MaBuSE - proud to be a "Rüsselmops" ;-)

Geändert von MaBuSE (23. Mai 2019 um 18:51 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von p80286
p80286

Registriert seit: 28. Apr 2008
Ort: Stolberg (Rhl)
6.659 Beiträge
 
FreePascal / Lazarus
 
#58

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 23. Mai 2019, 21:12
@Schokohase
Ich bin ja froh das deine Datei auch nicht die Anforderung erfüllt
Zitat von Schokohase:
Meine Testdaten
Delphi-Quellcode:
'a;b;c;d' + sLineBreak +
'a;"b;b";"c'#10'c";d'
Code:
Zeile1: a;b;c;d
Zeile2: a;"b;b";"c#10c";d

Zeile1: a b     c       d
Zeile2: a "b;b" "c#10c" d
Beachte die " mit denen die Felder die speziellen Zeichen einrahmen.
Speziell sind in diesem Fall das ; und #10

Gruß
K-H
Programme gehorchen nicht Deinen Absichten sondern Deinen Anweisungen
R.E.D retired error detector

Geändert von p80286 (23. Mai 2019 um 21:21 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von MaBuSE
MaBuSE

Registriert seit: 23. Sep 2002
Ort: Frankfurt am Main (in der Nähe)
1.837 Beiträge
 
Delphi 10 Seattle Enterprise
 
#59

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 24. Mai 2019, 09:44
Ich wollte mit meinem Beitrag eigentlich die unsinnige Diskussion über #13#10 und #10 beenden.

Falls ihr es nicht gemerkt habt. Das ist ein Code-Bibliothek Beitrag. Hier sollte nicht so viel diskutiert werden.

Macht einfach nach dem: slFile.LoadFromFile( Filename ); ein slFile.Text := slFile.Text und beendet diese Diskussion hier.
(Oder macht einen eigenen Thread mit dem Titel "unsinnige Diskussion über #13#10 und #10 im Kontext des rfc4180" außerhalb der Code-Library auf.)
Danke
(°¿°) MaBuSE - proud to be a DP member
(°¿°) MaBuSE - proud to be a "Rüsselmops" ;-)
  Mit Zitat antworten Zitat
Blackpit

Registriert seit: 27. Feb 2019
77 Beiträge
 
#60

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 24. Mai 2019, 17:33
...
Falls ihr es nicht gemerkt habt. Das ist ein Code-Bibliothek Beitrag. Hier sollte nicht so viel diskutiert werden.
...
Sehe ich auch so, deshalb hier noch ein verbesserter Vorschlag unter Berücksichtigung von Schokohase und Uwes Empfehlung Odd vs. mod 2
Delphi-Quellcode:
procedure TClientDataSetCsvClassHelper.LoadFromFile;
var
  myString :Variant;
  slFile :TStringList;
  slRow :TStringList;
  x,i,j :Integer;
  myPos :Integer;
  myFields :Integer;
  cntFields :Integer;
begin
  slFile := TStringList.Create;
  slRow := TStringList.Create;
  try
    myPos := 0;
    slRow.Delimiter := Delimiter;
    slRow.QuoteChar := QuoteChar;
    slRow.StrictDelimiter := True;
    slFile.StrictDelimiter := True;
    slFile.LoadFromFile( Filename );

      // ClientDataset Initialisieren
    if slFile.Count > 0 then
    begin
      Active := False;
      for x := 0 to slFile.Count - 1 do
      begin
        myString := '';
        if (x = 0) then
        begin
          myPos := x;
            // Build Header for DS
          slRow.DelimitedText := slFile[0];
          if FirstLineTitle then myFields := slRow.Count else
           begin
           cntFields := 0;
           myString := slFile[myPos];
           if Odd(length( myString )-
                length( stringreplace( myString, QuoteChar,'',[rfreplaceall, rfIgnoreCase]))) then
             while Odd(length( myString )-
                length( stringreplace( myString, QuoteChar,'',[rfreplaceall, rfIgnoreCase]))) do
             begin
             Inc(mypos);
             myString := myString+slFile[myPos];
             cntFields := length( myString )-
                length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
             end
           else myFields := slRow.Count;
          if cntFields > 0 then myFields := cntFields + 1;
          FieldDefs.Clear;
          for i := 0 to myFields - 1 do
            begin
              FieldDefs.Add( Format( 'Field%d',[i]), ftWideString, StringLength );
            end;
          end;
          if FirstLineTitle then
          begin
          for i := 0 to myFields - 1 do
              FieldDefs.Add( slRow[i], ftWideString, StringLength );
          end;
          CreateDataSet;
          Active := True;
          cntFields := 0;
        end;
        begin
        if (x=0) and FirstLineTitle then inc( myPos );
        if myPos = slFile.Count then break;
        If myString = 'then myString := slFile[myPos];
        cntFields := length( myString )-
              length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
          while cntFields <= (myFields-1) do
          if FirstLineTitle and (cntFields < (myFields-1)) then
            begin
              inc( myPos );
              myString := myString+slFile[myPos];
              cntFields := length( myString )-
                length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
            end
            else
            if not FirstLineTitle and (x <> 0) then
            begin
            If myString = 'then myString := slFile[myPos];
            while Odd(length( myString )-
              length( stringreplace( myString, QuoteChar,'',[rfreplaceall, rfIgnoreCase]))) do
             if Odd(length( myString )-
                (length( stringreplace( myString, QuoteChar,'',[rfreplaceall, rfIgnoreCase])))) then
                begin
                inc( myPos );
                myString := myString+slFile[myPos];
                cntFields := length( myString )-
                  length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
                end
             else
                cntFields := length( myString )-
                  length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
            end
            else
            break;
        end;
          // fill TClientDataset
        DisableControls;
        begin
          slRow.DelimitedText := myString;
          Append;
          for j := 0 to slRow.Count - 1 do
          begin
            Fields[j].AsString := slRow[j];
          end;
          Post;
        end;
        EnableControls;
        inc( myPos );
      end;
    end;
  finally
    slFile.Free;
    slRow.Free;
  end;
end;
HTH
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 19:29 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz