csv Normung

[Pfaffe]

Gibt es eigentlich eine Art DIN für csv? Also eine Normung oder eine Art "Stand der Technik"?
Wir haben eine externe Software mit csv-Schnittstelle, in der wird ein Text nicht gequoted, was zu Problemen führt, da unsere Texte auch das Trennungszeichen beinhalten.

[joachimd]

soweit ich weiß, nicht. Excel, LibreOffice usw bietet bei CSV die diversen Optionen an (mit/ohne Quotes, Trenner beliebig, feste/flexible Spaltenbreite, mit/ohne Titel, Zeichensatz) und auch die Import-Schnittstellen, welche ich bei diversen Datenbanken/Programmen kenne, sind hier recht offen.
An Deiner Stelle würde ich soviel Probleme wie möglich abfangen, d.h.
- mit Titelzeile
- Trenner ';'
- Text in Quotes
- UTF-8

[Frickler]

Zitat von joachimd:

soweit ich weiß, nicht. Excel, LibreOffice usw bietet bei CSV die diversen Optionen an (mit/ohne Quotes, Trenner beliebig, feste/flexible Spaltenbreite, mit/ohne Titel, Zeichensatz) und auch die Import-Schnittstellen, welche ich bei diversen Datenbanken/Programmen kenne, sind hier recht offen.
An Deiner Stelle würde ich soviel Probleme wie möglich abfangen, d.h.
- mit Titelzeile
- Trenner ';'
- Text in Quotes
- UTF-8

- Zeilenumbrüche zwischen 2 Feldern
- Zeilenumbrüche innerhalb eines Feldes

[himitsu]

Zitat von Frickler:

- Zeilenumbrüche innerhalb eines Feldes

Zwischen Quotes isses ja OK (auch wenn viele CSV-Importer nicht verstehen und dann alles falsch zerlegen),

aber es gibt auch so Spaßiges wie #13#10 als Datensatzende und #10 als Zeilenumbruch im Feld.

[Rollo62]

Zitat von Frickler:

Zitat von joachimd:

soweit ich weiß, nicht. Excel, LibreOffice usw bietet bei CSV die diversen Optionen an (mit/ohne Quotes, Trenner beliebig, feste/flexible Spaltenbreite, mit/ohne Titel, Zeichensatz) und auch die Import-Schnittstellen, welche ich bei diversen Datenbanken/Programmen kenne, sind hier recht offen.
An Deiner Stelle würde ich soviel Probleme wie möglich abfangen, d.h.
- mit Titelzeile
- Trenner ';'
- Text in Quotes
- UTF-8

- Zeilenumbrüche zwischen 2 Feldern
- Zeilenumbrüche innerhalb eines Feldes

Ja das kommt meistens anders als man denkt.
Ich ersetze meistens alle CrLf innerhalb von Zellen durch \r\n (im C-Stil), und beim Lesen wieder zurück.

Man könne aber auch solche Felder als Base64 oder zu HEX konvertieren, was es dann aber nicht mehr lesbar macht.

[Moombas]

Zitat von Frickler:

Zitat von joachimd:

soweit ich weiß, nicht. Excel, LibreOffice usw bietet bei CSV die diversen Optionen an (mit/ohne Quotes, Trenner beliebig, feste/flexible Spaltenbreite, mit/ohne Titel, Zeichensatz) und auch die Import-Schnittstellen, welche ich bei diversen Datenbanken/Programmen kenne, sind hier recht offen.
An Deiner Stelle würde ich soviel Probleme wie möglich abfangen, d.h.
- mit Titelzeile
- Trenner ';'
- Text in Quotes
- UTF-8

- Zeilenumbrüche zwischen 2 Feldern
- Zeilenumbrüche innerhalb eines Feldes

- Unterschiedliche Anzahl an Trennern ("Spalten") in den einzelnen Zeilen sind auch gerne für Probleme ursächlich (Verschiebung der Daten, wenn ein Trenner fehlt)

[dummzeuch]

Nicht zu vergessen die Datums/Uhrzeit und Dezimal-/Tausendertrennzeichen-Hölle.

Es könnte so einfach sein, wenn es ein genormtes Format gäbe, das alle unterstützen...

[Frickler]

Zitat von dummzeuch:

Nicht zu vergessen die Datums/Uhrzeit und Dezimal-/Tausendertrennzeichen-Hölle.

Vor allem, wenns gemischt auftritt. Ist mir mal bei einer Lieferschein-CSV untergekommen: EK und VK mit Dezimalkomma, aber Anzahl und Gewicht mit Dezimalpunkt. Wer zum Henker kommt denn auf sowas? Und warum?

[Blup]

Zitat von Moombas:

- Unterschiedliche Anzahl an Trennern ("Spalten") in den einzelnen Zeilen sind auch gerne für Probleme ursächlich (Verschiebung der Daten, wenn ein Trenner fehlt)

Wenn es dadurch zu Verschiebung der Daten kommt, ist das ein Fehler beim Export. Das kann man beim Import höchstens mit einer Fehlermeldung abfangen.

- Je nach Definition können ungenutzte Spalten am Ende der Zeile entfallen.
- Definition Format für Datum/Zeit
- Definition Trennzeichen für Währungsbeträge, Zahlen (Nachkommastellen, optional Tausenderstellen, oder als Festkomma z.B. 10Euro = 1000)

[Moombas]

Zitat von Blup:

Zitat von Moombas:

- Unterschiedliche Anzahl an Trennern ("Spalten") in den einzelnen Zeilen sind auch gerne für Probleme ursächlich (Verschiebung der Daten, wenn ein Trenner fehlt)

Wenn es dadurch zu Verschiebung der Daten kommt, ist das ein Fehler beim Export. Das kann man beim Import höchstens mit einer Fehlermeldung abfangen.

- Je nach Definition können ungenutzte Spalten am Ende der Zeile entfallen.

So war es gemeint. Eine Fehlermeldung / Warnung ist besser als eine Verschiebung korrigieren zu müssen.
Bei leeren Zeilen am Ende ist es wie du sagtest theoretisch unkritisch, aber woher willst du wissen das das so korrekt ist (ohne es sich explizit anzuschauen)?
Beispiel:

"Wenn du";"das meinst";"";"";"";"" -> Dort wären die hinteren durchaus möglich sie weg zu lassen. ABER das hätte folgendes Ergebnis:
"Wenn du";"das meinst" -> Wenn du nur dies hast, woher willst du definitiv sicher sein, das es nicht evtl so hätte sein sollen:
"";"";"";"";"Wenn du";"das meinst"

Ein Weglassen halte ich für fahrlässig und würde lieber die leeren "Spalten" haben, denn dann ist es prüfbar. Bei allem anderen läuten bei mir eher die Alarmglocken und würde das jeder Zeit anmahnen.