Unicode probleme

[Bernhard Geyer]

Zitat:

Zitat von day

... es funktioniert auch wenn man richtiges Unicode verwendet

Es gibt nur ein Unicode! Was du evtl. hast ist entweder Codepage/Charset Krückenlösung oder du hast etwas z.B. in UTF8 gespeichert. Das ist aber auch Unicode und nur die persistenz entsprechend durchgeführt.

[day]

Zitat:

Zitat von mkinzler

Was verstehst du unter Zwischending? GGf richtiges Unicode in DB und Dateien verwenden

Ich habe eine bestehende Applikation. Der Datenbanklayer ist in c/c++ geschrieben und relativ alt. Was ich bis jetzt mache ist einfach. Man kopiert ein chinesisches symbol in ein Textfeld und speichert den Wert. Das chinesische symbol wird intern (Dblayer) als normaler char gespeichert benötigt allerdings doppelt soviel platz. In der datenbank wird der wert in einem nvchar gespeichert. Beim auslesen passiert wieder das selbe und das chinesische symbol wird anhand der 2 chars angezeigt. Das funktioniert soweit ganz gut. Jetzt macht allerdings der XML-parser probleme da er wahrscheinlich gewisse char nicht versteht oder falsch interpretiert.

[day]

Zitat:

Zitat von Bernhard Geyer

Es gibt nur ein Unicode!

Ja ich weiss. Ich habe mich in der vergangenheit einfach zu wenig klar ausgedrückt.

[Bernhard Geyer]

Ich tippe eher das auf dem WEg in die DB hier etwas zerschossen wird. Vermutlich wird im C-Programm auch varchars statt nvarchars erwartet und das kann je nach DB und Codepages des Clients/Connection/Servers auf unterschiedlichste Art und Weise die Daten verändern. Wenn schon Unicode dann sollte auch die DLL soweit erweitert werden das sie mit Widestrings arbeitet! Alles andere ist gepfusche!

Der XML-Parser wird zu 99,9% alles richtig machen - wenn er fehlerfreie Daten bekommt! Und das bezweifle ich!

[day]

Ja ich gebe dir recht, dass es sauberer wäre wenn man alles auf widestring umstellen würde. Aber dazu ist der aufwand viel zugross! Denn wie gesagt, wenn ich den xml-parser rausnehme und das File selber parse funktioniert alles. Nur muss ich halt das file selber auslesen. Ist aber definitiv weniger aufwändig.

[Bernhard Geyer]

Zitat:

Zitat von day

Ja ich gebe dir recht, dass es sauberer wäre wenn man alles auf widestring umstellen würde. Aber dazu ist der aufwand viel zugross! Denn wie gesagt, wenn ich den xml-parser rausnehme und das File selber parse funktioniert alles. Nur muss ich halt das file selber auslesen. Ist aber definitiv weniger aufwändig.

Dann noch viel Spaß mit Problemsuche die aufgrund einer schlechten halbherzigen Umsetzung passieren. Und hofft das ir in den nächsten 1-2 Jahren nicht mehr Supportaufwand/Workarounds habt als wenn ihr es gleich richtig machen würded.

Und ich hoffe für die anderen hier das sie niemals defekte XML von euch verarbeiten müssen.

[day]

Zitat:

Zitat von Bernhard Geyer

Und ich hoffe für die anderen hier das sie niemals defekte XML von euch verarbeiten müssen.

Das ist kein Problem, da ich xml nur intern als kommuniktions protocol verwende.

[day]

Zitat:

Zitat von day

Zitat:

Zitat von Bernhard Geyer

Und ich hoffe für die anderen hier das sie niemals defekte XML von euch verarbeiten müssen.

Das ist kein Problem, da ich xml nur intern als kommuniktions protocol verwende.

[day]

jetzt habe ich noch eine frage. und zwar habe ich das gleiche symbol einmal als ansi und einmal als unicode abgespeichert. Ich kann beide files im notepad/wordpad aufmachen und das chinesische symbol wird mir richtig angezeigt.

Im ANSI format lautet der Hex wert: D3 D0 Im unicode format: FF FE 09 67

Das symbol im unicode format (09 67) habe ich in einer unicode tabelle gefunden (und oh wunder es war sogar korrekt :-) ). In welcher codepage tabelle finde ich aber den ANSI wert?

[mkinzler]

Ab Win98 in Codepage 936

[day]

Danke, jetzt habe ich das symbol auch in dieser codepage gefunden. Wie kann ich dem Betriebssystem sagen, dass er die codepage 950 nehmen soll?

[molotov13]

Ich habe zwar schon einen anderen Thread dafür benutzt,

Delphi für Win32
UDP-Probleme bei Delphi2009 und Windows XP Embedded


jedoch scheint mir dieser Beitrag geeigneter für mein Problem.

Seit meiner Umstellung von Delphi 2007 auf Delphi 2009 habe ich das Problem dass die UDP-Kommunikation in meinem Programm nicht mehr korrekt funktioniert. D.h. auf meinem lokalen Windows XP Rechner (SP3) funktioniert es einwandfrei. Ich verwende das TIdUDPClient-Objetk für meine Kommunikation.

Wie schon gesagt, vor der Umstellung auf Delphi 2009 funktionierte die Kommunikation mittels Send und ReceiveString überall einwandfrei. Nach Umstellung funktionierte es auf einem Windows XP Embedded System nicht mehr. Nach langem Stöbern in diversen Foren und im Internet stellte ich die Kommunikation dahingehend um, dass ich nun die Funktionen SendBuffer und ReceiveBuffer verwende. Das hat zur Folge, dass das Senden nun auf dem Embedded System auch funktioniert, das Empfangen jedoch noch nicht. Hier erhalte ich die Ausnahme:

EEncodingError - "ungültige Codepage"

Ich glaube, dass das Ganze etwas mit der Unicode-Geschichte zu tun hat. Kann es sein, dass mein Server-System die Antwort in einer "falschen" Form schickt? Was könnte es sonst sein?

Hier ein Auszug aus meinem Source-Code:

...

Delphi-Quellcode:

msg_temp,aw:WideString;
Buffer    : TIdBytes;
begin
  for trycounts:= 1 to 5 do
  begin
    try
      UDPC.SendBuffer(UDPC.Host,UDPC.Port,BytesOf(msg_temp));
      SetLength(Buffer, UDPC.BufferSize);
      UDPC.ReceiveBuffer(Buffer);
      aw := BytesToString(Buffer);

Anmerkung: verwendete Codepage: 850

Das Serversystem, welches die Antworten liefert ist eine in C programmierte Anwendung, die unter Windows Embedded läuft.