AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Code-Bibliothek Neuen Beitrag zur Code-Library hinzufügen Delphi csv Datei Import ClassHelper für TClientDataSet

csv Datei Import ClassHelper für TClientDataSet

Ein Thema von MaBuSE · begonnen am 26. Okt 2011 · letzter Beitrag vom 24. Mai 2019
Antwort Antwort
Seite 4 von 7   « Erste     234 56     Letzte » 
Benutzerbild von MaBuSE
MaBuSE

Registriert seit: 23. Sep 2002
Ort: Frankfurt am Main (in der Nähe)
1.837 Beiträge
 
Delphi 10 Seattle Enterprise
 
#31

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 9. Jun 2017, 14:36
Die "verwirrenden" Variante entspricht dem definierten und sowohl erwünschten, wie auch dem erwarteten Verhalten.
Dank dem StrictDelimiter:=False (Antwort #20) gibt es noch mehr Verwirrungen, da dort nicht nur der definierte Delimiter als Trennzeichen verwendet wird.
Was aber in diesem Beispiel keinen Unterschied macht.
(°¿°) MaBuSE - proud to be a DP member
(°¿°) MaBuSE - proud to be a "Rüsselmops" ;-)
  Mit Zitat antworten Zitat
H.Bothur

Registriert seit: 25. Jun 2012
Ort: Seevetal & Lagos
252 Beiträge
 
Delphi 11 Alexandria
 
#32

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 9. Jun 2017, 14:49
Wenn ich jemandem mal eine Testdatei geben soll .... müsste ich dann nur schnell umarbeiten weil im Moment sind das echte Kundendaten - dann mache ich das gerne

Hans
Hans-Georg Bothur
www.hermann-juergensen.de
  Mit Zitat antworten Zitat
nahpets
(Gast)

n/a Beiträge
 
#33

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 9. Jun 2017, 14:52
Ich verstehe den Sinn dieser Zeile nicht:slFile[i] := StringReplace(slFile[i], '"', '''', [rfReplaceAll, rfIgnoreCase]); QuotedChar in der CSV ist das ".

Warum das " durch das ' ersetzen?

Hast Du denn dann auch QuotedChar auf ' gesetzt?

Wenn nein, dann ist das (zusammen mit StrictDelimiter:=False) wie russisch Roulette.

Irgend wann geht der Schuss los, aber man weiß nicht, wen es wann trifft.
  Mit Zitat antworten Zitat
Blackpit

Registriert seit: 27. Feb 2019
77 Beiträge
 
#34

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 16. Mai 2019, 21:09
Hi Folks,
hier eine Implemtierung für LF in Quoted-Fields:

Code:

// v1.1 - 26.02.2019 - Blackpit: Anpassung LF in Quotes
/// /////////////////////////////////////////////////////////////////////////////
procedure TClientDataSetCsvClassHelper.LoadFromFile;
var
  myString :Variant;
  slFile :TStringList;
  slRow :TStringList;
  x :Integer;
  i :Integer;
  j :Integer;
  myPos :Integer;
  myFields :Integer;
  cntFields :Integer;
begin
  slFile := TStringList.Create;
  slRow := TStringList.Create;
  try
    myPos := 0;
    slRow.Delimiter := Delimiter;
    slRow.QuoteChar := QuoteChar;
    slRow.StrictDelimiter := True;
    slFile.StrictDelimiter := True;
    slFile.LoadFromFile( Filename );

      // ClientDataset Initialisieren
    if slFile.Count > 0 then
    begin
      Active := False;
      for x := 0 to slFile.Count - 1 do
      begin
        myString := '';
        if (x = 0) then
        begin
          myPos := x;
            // Build Header for DS
          slRow.DelimitedText := slFile[0];
          if FirstLineTitle then myFields := slRow.Count;
          FieldDefs.Clear;
          for i := 0 to myFields - 1 do
          begin
            if FirstLineTitle and ( slRow[i] <> '' ) then
            begin
              FieldDefs.Add( slRow[i], ftWideString, StringLength );
            end
            else
            begin
              FieldDefs.Add( Format( 'Field%d',[i]), ftWideString, StringLength );
            end;
          end;
          CreateDataSet;
          Active := True;
          myString := slFile[myPos];
        end;
        begin
        if (x=0) and FirstLineTitle then inc( myPos );
          if myPos = slFile.Count then
            break;
            myString := slFile[myPos];
            cntFields := length( myString )-
              length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
          while cntFields < (myFields-1) do
            begin
              inc( myPos );
              myString := myString+slFile[myPos];
              cntFields := length( myString )-
                length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
            end;
        end;
          // fill TClientDataset
        DisableControls;
        if (myPos > 0) then
        begin
          slRow.DelimitedText := myString;
          Append;
          for j := 0 to slRow.Count - 1 do
          begin
            Fields[j].AsString := slRow[j];
          end;
          Post;
        end;
        EnableControls;
        inc( myPos );
      end;
    end;
  finally
    slFile.Free;
    slRow.Free;
  end;
end;
Über Feedback würde ich mich freuen.
HTH somebody

Geändert von Blackpit (21. Mai 2019 um 16:42 Uhr) Grund: Korrektur ohne Header 1.Satz
  Mit Zitat antworten Zitat
Rollo62

Registriert seit: 15. Mär 2007
3.882 Beiträge
 
Delphi 12 Athens
 
#35

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 17. Mai 2019, 11:14
Sieht auf den ersten Blick OK aus.

Ich sehe das Du immer einen Header in der CSV-Datei erwartest.
Da würde ich eine Option machen, so das auch "Headerlose" CSV erzeugt werden können,
z.B. mit Dummynamen "Field1", "Field2"
  Mit Zitat antworten Zitat
Benutzerbild von MaBuSE
MaBuSE

Registriert seit: 23. Sep 2002
Ort: Frankfurt am Main (in der Nähe)
1.837 Beiträge
 
Delphi 10 Seattle Enterprise
 
#36

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 17. Mai 2019, 18:03
Hi Folks,
hier eine Implemtierung für LF in Quoted-Fields:
...
Über Feedback würde ich mich freuen.
HTH somebody
Hallo,
ich glaube Deine Lösung würde fehlschlagen, wenn in der 1. Zeile schon ein CRLF in einem Feld enthalten ist.
Wenn ich das beim Lesen richtig verstanden habe entfernst Du einfach die CRLF  myString := myString + slFile[myPos]; . Sie sind dann auch beim Speichern nicht mehr enthalten.

Ich würde noch einen anderen Ansatz vorstellen.
Man könnte die CRLF in den Quoted Fields auch per Regular Expression identifizieren und dann durch ein String ersetzen. Beim Zuweisen der Felder würde man das dann wieder rückgängig machen. Damit sind die CRLF auch in den Datenbank Feldern enthalten.

Damit würde das Beispiel eines ClassHelpers und der einfachen Konvertierung von CSV Dateien via TStringList um ein Beispiel zur Verwendung von System.RegularExpressions und die Verwendung eines Records zum "Erzeugen einer Methode" erweitert

Ich hab mal schnell so was zum Maskieren der CRLF geschrieben. In diesem Beispiel wird das " verwendet. Das kann man natürlich auch noch variabel gestalten.
Der String '"[^"]*\n[^"]*"' müsste dann entsprechende angepasst werden.
Bei Param const QuoteChar: Char = '"' wäre das dann so was wie QuoteChar+'[^'+QuoteChar+']*\n[^'+QuoteChar+']*'+QuoteChar oder Format('%s[^%0:s]*\n[^%0:s]*%0:s', [QuoteChar]) .

Anmerkung zu RegEx. Der verwendete Ausdruck '"[^"]*\n[^"]*"' wurde von mir verwendet, da '".*\n.*"' nicht funktioniert, da das * greedy ist. (Siehe https://www.regular-expressions.info/repeat.html )
Anmerkung zum Replace: Ich habe das an das Beispiel aus der Dokumentation angelehnt (Siehe http://docwiki.embarcadero.com/CodeE...place_(Delphi) )

Mit MaskCRLF werden alle CRLF in "" durch ^P ersetzt.
Mit UnMaskCRLF wird das wieder zu CRLF.

In LoadFromFile müssten nur 2 Zeilen ergänzt werden.
SaveToFile müsste natürlich auch entsprechend geändert werden.
Delphi-Quellcode:
...
uses Unit2; // Die Unit einbinden.
...
    // TClientDataset füllen
    DisableControls;
    slFile.Text := MaskCRLF(slFile.Text); // <----- Diese Zeile ist neu ;)
    for i := 0 to slFile.Count - 1 do
    begin
      slRow.DelimitedText := slFile[i];
      Append;
      for j := 0 to slRow.Count - 1 do
      begin
// Fields[j].AsString := slRow[j];
        Fields[j].AsString := DeMaskCRLF(slRow[j]); // <----- Diese Zeile wurde geändert ;)
      end;
      Post;
    end;
    EnableControls;
...
Hier ist die verwendete Unit2.pas:
(Ich hab sie noch nicht gespeichert, deshalb hab ich mir auch noch keinen Gedanken über den Unit-Namen gemacht

Delphi-Quellcode:
unit Unit2;

interface

function MaskCRLF(const Source: string; Mask: string = '^P'): string;
function DeMaskCRLF(const Source: string; Mask: string = '^P'): string;

implementation

uses
  System.SysUtils, System.RegularExpressions;

type
  TmyReplaceRec = record
    Mask: string;
    function MyReplace(const Match: TMatch): string;
  end;

function TmyReplaceRec.MyReplace(const Match: TMatch): string;
begin
  Result := System.SysUtils.StringReplace(Match.Value, #13#10, Mask, [rfReplaceAll]);
end;

function MaskCRLF(const Source: string; Mask: string): string;
var mr: TmyReplaceRec;
begin
  mr.Mask := Mask;
  Result := TRegEx.Replace(Source, '"[^"]*\n[^"]*"', mr.MyReplace, [roSingleLine]);
end;

function DeMaskCRLF(const Source: string; Mask: string): string;
begin
  Result := System.SysUtils.StringReplace(Source, Mask, #13#10, [rfReplaceAll]);
end;

end.
(°¿°) MaBuSE - proud to be a DP member
(°¿°) MaBuSE - proud to be a "Rüsselmops" ;-)

Geändert von MaBuSE (17. Mai 2019 um 18:34 Uhr)
  Mit Zitat antworten Zitat
Schokohase
(Gast)

n/a Beiträge
 
#37

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 17. Mai 2019, 19:15
Ihr macht da viel zu viel Brimborium drum.

Hier mal drei Zeilen CSV
Code:
"a","b","c"
"A
a","B
b","C
c"
a,b,c
Die mittlere hat Felder mit Zeilenumbrüchen.

Jetzt die Theorie:
Die Datenzeile ist komplett, wenn die Anzahl der Quote-Zeichen gerade ist.
Also liest man Zeile für Zeile ein, bis man eine gerade Anzahl an Quote-Zeichen hat und gibt diese dann der TStringList Instanz zum auseinandernehmen.

Die erste Zeile hat gleich 6 Quote-Zeichen - ist also komplett.

Die nächste Zeile hat 1 Quote-Zeichen - ist also nicht komplett.
Mit der nächsten Zeile hat man 3 Quote-Zeichen - ist also nicht komplett.
Mit der nächsten Zeile hat man 5 Quote-Zeichen - ist also nicht komplett.
Mit der nächsten Zeile hat man 6 Quote-Zeichen - ist also komplett.

Die letzte Zeile hat 0 Quote-Zeichen - ist also komplett.

KISS
  Mit Zitat antworten Zitat
Blackpit

Registriert seit: 27. Feb 2019
77 Beiträge
 
#38

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 19. Mai 2019, 08:54
@Rollo62
könnte sein das du zu schnell drauf geschaut hast

@MaBuSE
Um CrLf ging es mir gar nicht. Ich hatte Probleme mit Dateien die auch Linefeed als Satztrenner haben.
Bei Dateien mit CrLf als Satztrenner hätte vmtl. TStringList kein Problem.
Deinen Vorschlag mit RegEx werde ich mal testen, wobei es mir gar nicht um den erhalt ging.

@Schokohase
In der Art habe ich es gemacht, jedoch mit den Delimitern.
  Mit Zitat antworten Zitat
Schokohase
(Gast)

n/a Beiträge
 
#39

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 19. Mai 2019, 11:04
@Schokohase
In der Art habe ich es gemacht, jedoch mit den Delimitern.
Nein, hast du nicht.

Du hast damit aber einen bösen Bug in deinem Code.

Diese Zeile mit 3 Feldern
Code:
a,"b,b",c
und dein Code
Delphi-Quellcode:
cntFields := length( myString )-
              length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
liefert 3 zurück, obwohl du hier eine 2 benötigen würdest, denn es befinden sich in der Zeile 2 Feldtrenner. Das andere Komma gehört den Daten. StringReplace kann das aber nicht unterscheiden.

Du zählst also die Feldtrenner, was aber wie gezeigt fehleranfällig ist.

Mein Vorschlag ist es die Quote-Zeichen zu zählen, was immer passt.

Geändert von Schokohase (19. Mai 2019 um 11:06 Uhr)
  Mit Zitat antworten Zitat
Rollo62

Registriert seit: 15. Mär 2007
3.882 Beiträge
 
Delphi 12 Athens
 
#40

AW: csv Datei Import ClassHelper für TClientDataSet

  Alt 19. Mai 2019, 12:40
@Rollo62
könnte sein das du zu schnell drauf geschaut hast
Mir gings um den Header ...
Und Du wolltest ein paar Feedbacks bekommen.

Geändert von Rollo62 (19. Mai 2019 um 12:51 Uhr)
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 20:31 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz