Textdatei Encoding feststellen ohne BOM

[p80286]

Zitat von jobo:

..Textdatei, hier CSV Daten offensichtlich nicht ASCI/ANSI kodiert ist ..

Wenn das so offensichtlich ist, dann gibt es ja wohl ein Problem mit den "einfachen" Buchstaben (abcd...xyz) also könnte es z.B. EBCDIC sein (Blank=x40 statt x20, 0..9=xF0..xF9).
Wenn der HexDump an jeder zweiten Stelle eine x00 aufweist, dann handelt es sich wohl um einen 16Bit Code.
Wenn es nur manchmal ein paar Ausreißer gibt, dann ist wohl UTF8 dafür verantwortlich.

Kann man auf diese Weise das Problem näher eingrenzen?

Gruß
K-H
Edith:

Zitat von ele:

Problem ist, dass es durchaus Texte gibt, die z.B. keine Umlaute enthalten. Da die normalen Buchstaben in allen (gängigen) Codierungen gleich sind, kann die Codierung auch nur erraten werden wenn auch Sonderzeichen vorkommen.

Dann ist es völlig wurscht mit welcher Codierung man arbeitet.

[ele]

Zitat von jobo:

Zitat von ele:

Problem ist, dass es durchaus Texte gibt, die z.B. keine Umlaute enthalten. Da die normalen Buchstaben in allen (gängigen) Codierungen gleich sind, kann die Codierung auch nur erraten werden wenn auch Sonderzeichen vorkommen.

Dann ist es völlig wurscht mit welcher Codierung man arbeitet.

In der Regel ja, aber es gibt immer Ausnahmen.

Gegenbeispiel (frei geguttenbergt aus Wikipedia):

Zitat:

The currency sign (¤) is a character used to denote a currency, when the symbol for a particular currency is unavailable.

Angenommen das ganze ist in Windows-1252 codiert, wird aber (da es ja völlig wurscht ist) per Default als ISO 8859-15 interpretiert, dann kommt raus:

Zitat:

The currency sign (€) is a character used to denote a currency, when the symbol for a particular currency is unavailable.

Und diese Aussage ist definiv nicht korrekt.

q.e.d

[jobo]

Eingrenzbar wäre es schon. EDBCDIC ist es rein optisch gar nicht. Es geht momentan um CSV ua mit Namen, Straßen, (vermutlich deutsche) Orte, die Probleme sind auf Umlaute beschränkt, der Rest ist singlebyte..momentan
Man könnte es aber aufgrund der "Datenstruktur" notfalls hart vergleichen.

Thema ASCI/ANSI:
Ich hab irgendwo im Internet gelesen (und find es nicht mehr), dass bestimmte Bytes (254, 255 , ..) nicht in der einen oder anderen Codierung vorkommen. Bei ASCII kann ich mir das schwer vorstellen. Die anderen Codierungen kenne ich kaum, halte aber systemische Lücken für denkbar.

Die (2.) Funktion von Himitsu habe ich nicht verstanden, vlt die zweite mit einem anderen Namen?

[Luckie]

am sichersten ist es, wenn du den Benutzer entscheiden lässt.

[jobo]

Ja, das macht er ja momentan, aber mit steigender Frequenz sinkt die Lust.
Und einer vollständigen Automatisierung der Verarbeitung ginge das auch nicht.