UTF8 Literale leserlich machen. Welche Unit / Funktion?

[Schokohase]

Zitat von DieDolly:

aber wie bitte soll man aus \xc4\x80 ein Ā machen?

Das kann ich dir auch nicht sagen. Das wäre mir auch viel zu kompliziert.

Ich ziehe ja auch nicht das Hemd und die Hose gleichzeitig an, denn sonst falle ich auf die Fre**e.

Aber der umgekehrte Weg den ich dir gezeigt habe macht das ja auch nicht alles auf einen Schlag.

Da wird ein String in eine Byte-Folge umgewandelt.
Diese Byte-Folge wird nun in einen String kodiert und dort befinden sich nur noch 7-Bit ASCII Zeichen (bzw. solche die man mit 7-Bit ASCII darstellen könnte).

Also suchen wir nach einem Weg, um aus diesem wieder ein Byte-Folge zu machen (und nicht sofort den gesuchten String!).

Dazu könnten wir dieses TRegEx nehmen

Delphi-Quellcode:

type
  TRegDecoder = class
  private const
    pattern = '\\x((\d|[a-f]*){2})';
    function unescape(const match: TMatch): string;
  public
    function Decode(const str: string): TBytes;
  end;

  { TRegDecoder }

function TRegDecoder.Decode(const str: string): TBytes;
var
  decodedStr: string;
  idx: Integer;
begin
  decodedStr := TRegEx.Replace(str, pattern, unescape);
  SetLength(result, decodedStr.Length);
  for idx := 0 to decodedStr.Length - 1 do
    result[idx] := Ord(decodedStr.Chars[idx]) and $FF;
end;

function TRegDecoder.unescape(const match: TMatch): string;
var
  hexNumber: String;
begin
  hexNumber := '$' + match.Groups[1].Value;
  result := Chr(Byte.Parse(hexNumber));
end;

function DecodeBytes(const str: string): TBytes;
var
  decoder: TRegDecoder;
begin
  decoder := TRegDecoder.Create;
  try
    result := decoder.Decode(str);
  finally
    decoder.Free;
  end;
end;

Dann kommen wir schlussendlich zu

Delphi-Quellcode:

const
  SomeStr = 'ĀĆHallo';

var
  Utf8Buffer, OutBuffer: TBytes;
  EncodedBufferStr: string;
  str: string;

begin
  Utf8Buffer := TEncoding.UTF8.GetBytes(SomeStr);
  EncodedBufferStr := EncodeBytes(Utf8Buffer);
  Writeln(EncodedBufferStr);

  OutBuffer := DecodeBytes(EncodedBufferStr);
  str := TEncoding.UTF8.GetString(OutBuffer);
  // Achtung, kann die Konsole normal nicht korrekt darstellen!
  // Bitte den Wert im Debugger anschauen
  Writeln(str); 

  Readln;

end.

Hinweis

Das ist bestimmt nicht die schnellste Variante, sondern nur eine die funktioniert und die man so mit den bisher gelieferten Informationen hätte lösen können.

[DieDolly]

Bis ich das verstanden habe, vergehen erstmal ein paar Tage. Bestimmt eine Woche.

Seitdem ich das hier das erste mal gesehen habe verzweifle ich schon dran zu verstehen, wie Replace den dritten Parameter akzeptieren kann, der eine Funktion ist die eigentlich einen Parameter benötigt.

[p80286]

Zitat von DieDolly:

?? Absolut keine Ahnung sorry.

Kann vorkommen.
zunächst wäre es hilfreich zu wissen aus welcher Quelle der String stammt. Ich vermute: JSON, muß aber nicht sein.
Wenn man die Quelle kennt, weiß man welche Zeichen "escaped" werden müssen, ansonsten mußman halt mit allem Rechnen......

SomeStr2 = '\xc4\x80\xc4\x86Hallo';

In diesem Beispiel wird zunächst einmal ein Byte(C4) definiert, weil die Quelle mit diesem Zeichen nich korrekt umgehen kann. Die nächsten drei Bytes werden ebenfall entsprechend definiert (80,C4,86).

also

mystring:=#$C4+#$80+#$C4+#$86+'Hallo';

Schaust Du in der UTF-Codierung nach, dann entspricht $C480 einem Ä und $C486 einem ´C
es scheint sich also um UTF-8 zu handeln.

Mit der entsprechenden übersetzungsfunktion erhälst du also
'ÄCHallo' (ich bekomme das Acute nich richtig hin)


Gruß
K-H

[DieDolly]

Zitat:

Kann vorkommen.

Aber nicht so wie bei mir.
Ich habe versucht die Logik einfach irgendwie umzudrehen aber das war wohl der sichere falsche Weg.

[Schokohase]

Zitat von p80286:

zunächst wäre es hilfreich zu wissen aus welcher Quelle der String stammt. Ich vermute: JSON, muß aber nicht sein.

Nein, definitiv nicht:

1. Bei JSON ist ein string immer quoted
2. Bei JSON gibt es ein \u???? mit 4 Hex-Ziffern aber eben kein \x?? mit zwei Hex-Ziffern

Nachzulesen unter https://json.org

[Schokohase]

Zitat von DieDolly:

Seitdem ich das hier das erste mal gesehen habe verzweifle ich schon dran zu verstehen, wie Replace den dritten Parameter akzeptieren kann, der eine Funktion ist die eigentlich einen Parameter benötigt.

Das ist ein Delegate bzw. Funktions- oder Methodenzeiger und gehört eigentlich zum Delphi Basiswissen. Wie hast du jemals einen Event zugewiesen, denn da verwendet man nur solche Methodenzeiger mit Parametern?

[DieDolly]

Events habe ich schon dutzende zugewiesen.
Beispielsweise eine Komponente zur Laufzeit erstellen und Events zuweisen die schon im Code liegen.

Aber das da oben sagt mir gar nichts denn der Code-Hint sagt auch nur, dass er einen String als dritten Parameter erwartet.
Verstehe es noch immer nicht und werde das auch nie verstehen. Für mich sieht ein Event anders aus. Kapiere einfach nicht, wo TMatch dann herkommen soll.
Replace() liefert es ja scheinbar nicht, da nur ein String erwartet wird.

class function TRegEx.Replace(const Input, Pattern, Replacement: string): string;

Zum Basiswissen gehört viel. Es gibt schlaue Menschen wie dich die irgendwie alles aufsaugen und es gibt dumme wie mich, die nix kapieren.

[Der schöne Günther]

Was ist deine Delphi-Version? Vielleicht war die Methode in deiner Version noch nicht erfunden 🤷

[Schokohase]

Schlau? Weiß ich nicht ...
Augen offen? Ja auf jeden Fall ...

http://docwiki.embarcadero.com/Libra...TRegEx.Replace

Delphi-Quellcode:

class function Replace(const Input, Pattern, Replacement: string): string; overload; static;
class function Replace(const Input, Pattern: string; Evaluator: TMatchEvaluator): string; overload; static;
class function Replace(const Input, Pattern, Replacement: string; Options: TRegExOptions): string; overload; static;
class function Replace(const Input, Pattern: string; Evaluator: TMatchEvaluator; Options: TRegExOptions): string; overload; static;

Delphi-Quellcode:

type
  TMatchEvaluator = function(const Match: TMatch): string of object;

Eventuell macht das den Unterschied und wirkt auf andere schlau ... obwohl ich einfach nur die Augen offen habe

[Rolf Frei]

mystring := UTF8Decode(#$C4+#$80+#$C4+#$86+'Hallo');

Das ergibt den String "ĀĆHallo"

Das Problem ist nun die "\x.." Zeichen in den entsprechenden 8-bit Zeichen Code umzuwandeln. Habe dazu schnell eine simple Routine geschrieben, die das macht. Diese müsste aber eventuell noch etwas überarbeitet werden, jenach dem was der Quellstring wirklich alles enthalten kann.

Delphi-Quellcode:

function DecodeCStyleString(const AStr: String): String;
var
  HexStr, ResultStr: RawByteString;
  i: Integer;
  IsCharLeadin: Boolean;
begin
  IsCharLeadin := False;
  i := 1;
  while i <= Length(AStr) do
  begin
    IsCharLeadin := AStr[i] = '\';
    if IsCharLeadin then
    begin
      IsCharLeadin := AStr[i+1] = 'x';
      if IsCharLeadin then
      begin
        inc(i, 2);
        HexStr := '$' + AStr[i] + AStr[i+1];
        ResultStr := ResultStr + AnsiChar(StrToInt(HexStr));

        inc(i);
      end
      else
        ResultStr := ResultStr + AnsiChar(AStr[i]);
    end
    else
      ResultStr := ResultStr + AnsiChar(AStr[i]);

    inc(i);
  end;

  Result := UTF8ToString(ResultStr);
end;

...

MyString := DecodeCStyleString('\xc4\x80\xc4\x86Hallo\xc4\x80');
// MyString ist nun "ĀĆHalloĀ"