HTTP.Get/Post - Umlaute anzeigen

[TERWI]

Ich frage hier mir HTTP.Get oder .Post Daten an und diese kommen auch so wie gewünscht zurück.
Dummerweise werden (nur die) darin enthaltenen Umlaute immer mit \u00.. im String dargestellt.
Die UTF8-Umwandlungen funzen da nicht so wirklich !?
Ich verwende Delphi 2009.
Gibt es da keine internen Funktionen, die das konvertieren können ... oder muss ich das "zu Fuß" umwandeln ?

[Bbommel]

Hm, neuere Delphi-Version können da im Rahmen von REST und JSON tatsächlich schon ziemlich viel, aber wie es bei D2009 aussieht, wüsste ichjetzt spontan nicht. Da hat sich bei Delphi in den letzten Jahren ja doch einiges getan.

Vielleicht hilft dir aber die Frage hier (inkl. Code als Antwort) bei Stackoverflow weiter.

[Neutral General]

Ich schätze du bekommst JSON zurück und parst das selbst statt TJSONObject o.ä. aus System.JSON zu benutzen.

[TERWI]

.. eben drum meine Frage: 2009 kennt noch kein JSON.
Ich hatte hier auch schon div. gesucht & gefunden - aber das bezieht sich alles auf neuer Versionen ab 2009.
So ein Prob muss es doch auch schon zu Zeiten von D2009 geben haben ?!

[Neutral General]

SuperObject

https://github.com/hgourvest/superobject

[TERWI]

Bestimmt nett gemeinter Tipp, aber wie lange soll/muss ich da in Henri's Code rumsuchen, bis ich da eine Lösung ableiten/kopieren kann ?
... ich hatte da an eher was einfach kurzzeiliges (erst mal nur für Umlaute) gedacht.

[Neutral General]

Du sollst die SuperObject Unit/Bibliothek und die enthaltenen Klassen benutzen und dir nicht irgendein Codestück rauskopieren.
Da sind sogar Beispiele.

Wenn du jetzt mit irgendwelchen Copy/Pos Kram versuchst JSON zu parsen dann geht das zu 100% in die Hose.

[Bbommel]

Zitat:

Zitat von TERWI (Beitrag 1451208)

.. eben drum meine Frage: 2009 kennt noch kein JSON.
Ich hatte hier auch schon div. gesucht & gefunden - aber das bezieht sich alles auf neuer Versionen ab 2009.
So ein Prob muss es doch auch schon zu Zeiten von D2009 geben haben ?!

Naja, vor 10 Jahren war JSON noch lange nicht so populär wie heute, schon gar nicht unter Delphi-Entwicklern, insofern ist es schon nachvollziehbar, wenn es für D2009 zu dem Thema nicht so viel gibt.

Der Codeschnipsel aus dem Stackoverflow-Beitrag, den ich verlinkt habe, müsste aber eigentlich funktionieren und dein Problem erst einmal lösen. Wobei ich dem General recht geben muss, dass es wahrscheinlich langfristig besser ist, das Ganze mit einer "richtigen" Bibliothek zu lösen.

Wenn du jetzt öfter mit dem Thema zu tun hast, könnte es auch sinnvoll sein, mal über ein Delphi-Update nachzudenken, da sich in dem Bereich wirklich viel getan hat (mir ist klar, dass das ggf. eine Kostenfrage ist oder eine Entscheidung, die du nicht selber treffen kannst, aber erwähnt werden sollte es gerade für den Bereich REST, JSON und weitere Web-Standards mal).

[TERWI]

Jaaaa..., ich hatte da jetzt gedacht, dass es ggf. "was einfache" gäbe, um eben "nur" die besagten Umlaute mit \u00.. aus dem String rauszupulen.

Ich bin hier kein Entwickler/Profi-Coder, der das für Geld macht - im Gegentum: Just4Funny und möglichst einfach ... da ist eine Mega-Kompatibilät für die nächsten 10 Tage - äh jahre - nicht zwingend angesagt.

@Bommel
In dem StackOF-Beitrag steht geich oben:
"You can use the DBXJSON unit which is included in Delphi 2010"
... also nix mit 2009 ?!

Einfach nur "\u00.." aus dem String raus und mit passendem char ersetzen ... sonst nix weiter.
Und das möglichst simpel ohne Bibliothek.

[Neutral General]

Das allereinfachste - sogar für einen Hobbyentwickler und just4fun Nicht-Profi wie dich - sind die superobjects.
Eine Unit einbinden und Werte wie im Beispiel auf github auslesen. Das die Strings dabei ordentlich rauskommen ist inklusive.

Aber wenn dus unbedingt selbst machen willst dann lies dir den JSON Standard durch und schau wie man die \u0.. ersetzt und was man generell sonst noch so beachten muss.
Dann bist du allerdings WIRKLICH im Profi bereich. 1000x mehr als wenn du dir einfach die Unit runterlädst die jeder Anfänger ohne Ahnung von JSON benutzen kann...

[Redeemer]

Lag hier irgendwo rum:

Delphi-Quellcode:

function JSONUnescape(const JSON: string): WideString;
var
  i: Integer;
  InSequence: Boolean;
  UTF16Chars: Byte;
  UTF16Data: Word;
const
  Hex = '0123456789abcdef';
begin
  Result := '';
  InSequence := False;
  UTF16Data := 0;
  UTF16Chars := 0;

  for i := 1 to Length(JSON) do
  if InSequence then
  begin
    case Ord(JSON[i]) of
      $75: begin
        UTF16Data := 0;
        UTF16Chars := 4;
      end;
      $62: Result := Result + #8;
      $66: Result := Result + #12;
      $6E: Result := Result + #10;
      $72: Result := Result + #13;
      $74: Result := Result + #9;
      else if UTF16Chars > 0 then
           begin
             UTF16Data := UTF16Data shl 4 + Pos(Lowercase(JSON[i]), Hex) - 1;
             dec(UTF16Chars);
             if UTF16Chars = 0 then
             begin
               Result := Result + WideChar(UTF16Data);
               InSequence := False;
             end;
           end
           else
           Result := Result + JSON[i];
    end;
  end
  else
  if JSON[i] = '\' then
  InSequence := True
  else
  Result := Result + JSON[i];
end;

[Neutral General]

Gott sei Dank, dann kann er weiterhin mit pos und copy die Strings aus dem JSON parsen und dann durch diese Funktion jagen die er wahrscheinlich nicht versteht.
Warum einfach (und richtig) wenns auch kompliziert (und falsch/fehleranfällig) geht? :roll:

[TERWI]

Sorry .. bitte nicht falsch verstehen:
Ich gehöre offensichtlicht zu der Speties der frühen Turbo-Pascal Jünger, welche nicht einfach malsoeben sich ne Unit/Komponente/Bibiliothek in den Source kloppen...
Ich wüsste gern immer, wie es funzt und halte den Code nach Möglichkeit klein & übersichtlich.
Deshalb bastle ich seit 'eben' an etwas, was meinen Ansprüchen genügt und funktioniet.
... sieht so weit gut aus - ich lasse es euch wissen, wenn' fettich iss.

[Bbommel]

Zitat:

Zitat von TERWI (Beitrag 1451218)

@Bommel
In dem StackOF-Beitrag steht geich oben:
"You can use the DBXJSON unit which is included in Delphi 2010"
... also nix mit 2009 ?!

Was du meinst, ist die erste Antwort in dem Beitrag. Darunter gibt es ja noch eine zweite, davon unabhängige, Antwort, welche einen Code-Schnipsel zur Umwandlung der \u... enthält und der, wenn ich das richtig sehe, nicht auf D2010 basiert.

Ich kann prinzipiell nachvollziehen, dass man nicht zu viele Bibliotheken von Drittanbietern einbinden möchte, wenn man es vermeiden kann. Das erhöht ja dann doch immer die Abhängigkeit zu anderen. Aber gerade dann könnte es sich für dich als Hobby-Entwickler auch mal lohnen, an einem ruhigen Abend mal einen Blick auf die kostenlose Community Edition vom aktuellen Delphi zu werfen. Das braucht natürlich auch ein bisschen Zeit, bis man alles, was so in den letzten zehn Jahren passiert ist, kennengelernt hat, aber wie gesagt, wenn du mehr mit irgendwelchen Web-Schnittstellen machst, dann lohnt sich das.

[TERWI]

@General
Dieses SuperObjetct werde ich mir trotzdem mal ansehen.
Wird wahrscheinlich an anderer Stelle eine meiner "Krücken" ersetzen.

Nictsdestotrotz habe ich da noch ein wenig getippt.
Hier meine Kleine Routine, welche beliebig viele \u00?? in einem String ersetzt.

Delphi-Quellcode:

function DecodeJString(text : array of ansichar) : ansistring;
var
  len, p1, p2, val : integer;
begin
  result := '';
  len    := length(text);
  p1     := 1;
  p2     := PosEx('\u00', text, p1);
  if (p2 > 0) then
  begin
    while (p2 > 0) do
    begin
      val := hextoint(text[p2 + 3] + text[p2 + 4]);
      result := result + copy(text, p1, p2 - 1) + chr(val);
      p1 := p2 + 6;
      p2 := PosEx('\u00', text, p1);
    end;
  end;
  result := result + copy(text, p1, len - p2);
end;

[freimatz]

Zitat:

Zitat von TERWI (Beitrag 1451224)

Ich wüsste gern immer, wie es funzt und halte den Code nach Möglichkeit klein & übersichtlich.
Deshalb bastle ich seit 'eben' an etwas, was meinen Ansprüchen genügt und funktioniet.
... sieht so weit gut aus - ich lasse es euch wissen, wenn' fettich iss.

Nun ja deine Methode halte ich für klein. Vermutlich weisst Du auch wie sie funzt. Für andere gilt das vermutlich jedoch eher nicht.
"wie es funzt", also warum da überhaupt "\u00" kommtm und so weisst du vermutlich immer noch nicht. :wink:

Für mich riecht das nach Symptombekämpfung. Du weisst wie die Bekämpfung funktioniert aber nicht warum die Symptome so sind.

[Incocnito]

Ich befürchte ein Fehler ist, dass es nur für \u0000 bis \u00FF funktioniert.
Wenn ich raten soll fehlt dir wenigstens \u0100 bis \uFFFF ... und wenn ich mich recht erinnere
hießen die Dinger "Multibyte-Zeichensätze", also könnte auch "\uFF1234" möglich sein, oder!?
Nur so als Idee, was noch kommen könnte. ... Also doch eine Komponente/Unit von jemandem,
der sich mit dieser Konvertierung schonmal etwas länger auseinander gesetzt hat.
Waren die vorgeschlagenen nicht kostenlos, oder wolltest du das nicht nehmen
um deinen Code so klein wie möglich zu halten (Alá "Mein Onkel wird schon kein japanisch schreiben,
aber Umlaute braucht er halt")?

MfG Incocnito

[Neutral General]

Alles was vorgeschlagen wurde ist kostenlos.

[TERWI]

@freimatz
Ja ich weiss schon, wie das funktioniert. Hab ich ja selbst getippt und kein copy-paste gemacht.
Kommst du nicht drauf, was die relevanten 5 Zeilen bewirken ?

@Incocnito
Ich lehne grundsätzlich nichts kostenloses ab - nur hätte ich gern gewusst, wie's geht/was es macht und wie viel Overhead da ggf. mitkommt.
Das müsste (und werde !) ich mich noch einlesen ...

@alle
Noch mal zur Erinnerung: Ich wollte lediglich von der Serveranfrage (dren Daten ja so weit völlig ok sind) aus den Klartextbeschreibungen die Umaute richtig lesen.
Und die stehen da (!) eben mal (nur) als "\u00..". Eine vollständige Kompatibilität zu Multibyte-Zeichensätzen war/ist gar nicht erforderlich.
... einen Preis wollte ich damit auch nicht gewinnen :)

PS:
Die Daten stammen aus Anfragen beim ZATTOO-IPTV-Server, um die Programmliste und EPG-Daten zu bekommen.
Die Umlaute (und nix anderes mit \u....) sehe ich z.Zt. nur in den (erweiterten) Sendernamen und EPG-Beschreibungen.

[TurboMagic]

Wie schön von jemand anderem erwähnt: Community Edition von Rio anschauen.
Ist für Hobby Programmierer kostenlos!

[Incocnito]

Falls es dort auch um den Programminhalt geht, wären weitere "Sonderzeichen" nicht auszuschließen.
Du solltest wenigstens prüfen, ob der französische Zeichensatz (é, è, á, â, oder was es dort gibt)
auch mit drin ist bei deiner Konvertierung. Gerade europäische Titel werden gerne mal übernommen.
Auch wenn mir (dafür schau ich zu wenig TV) kein Beispiel einfällt. Ich denke auch gerade an
Dokumentationen über berühmte Personen, da gibt es sicherlich genug mit "Nicht-Deutschen-Zeichen".
Ich würde beim Sender Arte anfangen, da das ein französisch-deutscher Sender ist.
Der ist sicher ein gutes Testfeld. ;)

MfG Incocnito

[Redeemer]

Zitat:

Zitat von Incocnito (Beitrag 1451267)

Ich befürchte ein Fehler ist, dass es nur für \u0000 bis \u00FF funktioniert.
Wenn ich raten soll fehlt dir wenigstens \u0100 bis \uFFFF ... und wenn ich mich recht erinnere
hießen die Dinger "Multibyte-Zeichensätze", also könnte auch "\uFF1234" möglich sein, oder!?

Nein, gibt es nicht. Der Zeichensatz von JavaScript (intern und von \u-Escapes) ist UTF-16, der von Windows ist UTF-16 und der von WideString ist auch UTF-16. Ist zwar ein MBCS, interessiert aber nicht, da Quell- und Zielzeichensatz identisch sind. Da es anders als in HTML kein Abschlusszeichen gibt, muss die Länge der Sequenz von vornherein klar sein. Nach \u kommen immer vier Zeichen. C kennt \U mit acht Zeichen, JavaScript kennt das nicht: In Firefox gibt '\U00010400' keine sinnvolle Ausgabe, '\uD801\uDC00' hingegen schon. Somit ist es unmöglich, Zeichen als UCS-4BE (aka UTF-32BE) auszudrücken.

Der Thread ist doch eigentlich durch:
- Dem TE wurde ans Herz gelegt, eine richtige Bibliothek zu verwenden.
- Ich habe einen funktionierenden und korrekten Algorithmus gepostet.
Da muss man jetzt doch nicht weiter mit Halbwissen irritieren.

[TERWI]

@Incocnito
Du hast recht - mir ist aufgefallen, das auch etliche andere Zeichen kommen.
Z.B. diese hier:

Zitat:

\u00c9 -> É
\u00b0 -> °
\u0141 -> Ł
\u017e -> ž
\u00e9 -> é
\u2013 -> –
\u00df -> ß
\u00dc -> Ü
\u00fc -> ü
\u00e4 -> ä
\u00df -> ß
\u00f6 -> ö

Ich habe meine kleine Routine mal etwas universeller gemacht.
Nimmt und gibt nun einen String.
Ist kein Sonderzeichen drin, kommt der Text unverändert zurück.
Evtl. vorhandene '\u....' werden entsprechend ersetzt.

Delphi-Quellcode:

function DecodeJString(text : string) : string;
var
  p, val : word;
begin
  result := '';               // !
  p := Pos('\u', text);       // 1. Sonderzeichen suchen
  while (p > 0) do            // Sonderzeichen vorhanden ?
  begin
    val := hextoint(text[p + 2] + text[p + 3] + text[p + 4] + text[p + 5]); // Wert ermitteln
    result := result + copy(text, 1, p - 1) + widechar(val); // 1. Teil-String + Sonderzeichen
    Delete(text, 1, p + 5);   // zu 'Rest-String' löschen
    p := Pos('\u', text);     // noch mehr Sonderzeichen vorhanden ?
  end;
  result := result + text;    // (Rest-) String hinzufügen
end;

Viel einfacher & kürzer gehts wahrscheinlich nicht ...