MD5 - Unterschiede zw. Indy und DEC6

[Stevie]

Bei Indy würde ich immer enUTF8 angeben, ansonsten wird wie bereits gesagt intern immer das ASCII encoding genutzt, was einfach alle Zeichen größer $7F als '?' interpretiert - siehe TIdASCIIEncoding.GetBytes in IdGlobal.pas

Ebenso musst du bei DEC dafür sorgen, dass er einen UTF8 String hasht und nicht einen UnicodeString (UTF16) - das kann man einfach mit einem Cast auf UTF8String bewerkstelligen, hier baut der Compiler immer die notwendige Konvertierungsfunktion ein. Durch die Überladung von CalcString mit RawByteString wird dann diese aufgerufen.

Delphi-Quellcode:

  var lMD5_Indy := TIdHashMessageDigest5.Create;
  try
    var sValue := lMD5_Indy.HashStringAsHex('Tästwert', enUTF8);
    Writeln(sValue);
  finally
    lMD5_Indy.Free;
  end;

  var lMD5_DEC := THash_MD5.Create;
  try
    var sValue := lMD5_DEC.CalcString(UTF8String('Tästwert'), TFormat_HEX);
    Writeln(sValue);
  finally
    lMD5_DEC.Free;
  end;

Ausgabe (Obacht, ich hab da nen ä in den String geschmuggelt, um das mit dem UTF8 zu testen):

9C6F9390DE3580AA8717DAA21D1E3622
9C6F9390DE3580AA8717DAA21D1E3622

Laut diverser online md5 Generatoren ist das wohl richtig.

[EdAdvokat]

ich habe "Testwert" (natürlich ohne ") in das DEC-Hash eingegeben und erhalte das beigefügte Ergebnis genau wie mit Indy.
Ich habe für das Programm DEC Hash Vcl DEC 6.41 (also das aktuelle DEC) verwendet.

[TurboMagic]

Hallo,

schön, dass ihr das schon alleine rausbekommen habt.
Danke an SGlienke!

Nach dem halt UnicodeString in DelphiUTF16 ist, würde ich so ein
Verhalten auch ehrlicherweise erwarten.

Warum?

1. Weil es wie von Stefan richtig bemerkt ja extra eine RawByteString
Variante davon gibt die man in den anderen Fällen nutzen kann.

2. Man sonst bei wirklicher Ausnutzung eines UnicodeString/string
mit Zeichen > 255 Schwierigkeiten hätte. Dann bräuchte man gar keine
Variante mit UnicodeString/string anzubieten.

Grüße
TurboMagic

[dschiffler]

Hallo,

danke an Stefan für den Hinweis zu UTF8.

Allerdings kann ich bei Indy nichts am Aufruf von HashStringAsHex ändern, da die Klasse TIdHashMessageDigest5 intern in TIdDigestAuthentication verwendet wird.

Frage an TurboMagic:
Die Hash-Methode von Delphi (System.Hash.THashMD5.GetHashString) kann ich ganz normal mit einem String aufrufen, da dort intern eine Umwandlung des Parameters erfolgt (TEncoding.UTF8.GetBytes(...)).
Wäre das nicht auch bei den DEC-Funktionen sinnvoll, damit man die Umwandlung mit UTF8String nicht immer selber machen muss?

[himitsu]

Du kannst die String-Variable auch einfach als UTF8String deklarieren, anstatt als string .

[TurboMagic]

Hallo,

ich bin mir noch nicht sicher ob ich Himitsu richtig verstehe.
Wenn man einen normalen String mit den DEC string Funktionen benutzt ist der ja
UTF16 in Delphi. Weißt man einen UTF8String einem String zu dürfte der ja in UTF16
konvertiert werden, oder?

Dann käme ja nicht das richtige raus.
Wenn man die DEC erweitern möchte (weil es zu müßig ist RawByteString Typecasts
hinzuschreiben, dann müsste man wohl noch UTF8String basierte Overloads hinzufügen.

Oder was hab' ich jetzt falsch verstanden?

Falls wir uns einig werden was der richtige Ansatz ist bin ich auch für Codespenden dankbar

Grüße
TurboMagic

[himitsu]

Gäbe es bloß ein CalcString mit string, würde es stimmen.

Aber da es eine Überladung mit einem kompatiblen Typen zum UTF8String gibt, wird Jenes verwendet, also RawByteString.



Bei einer Überladung von String (bzw. UnicodeString/WideString) und AnsiString, da wird es schwieriger.
Vor 2009 wäre der UTF8String in jeden anderen AnsiString-Typen übergegangen, womöglich sogar ohne Konvertierung.
Jetzt wird es komplizierter. Ich würde hoffen es ginge da auf String/UnicodeString, aber es wäre auch möglich, dass es mit Konvertierung in den AnsiString ginge (was blöd wäre).

[DieDolly]

Ich habe noch eine etwas ältere Version von DEC (Version 6.2 laut readme).

Delphi-Quellcode:

function TDECHash.CalcString(const Value: RawByteString; Format: TDECFormatClass): RawByteString;
var
 Buf: TBytes;
begin
 Result := '';
 if Length(Value) > 0 then
  {$IF CompilerVersion >= 24.0}
  Result := BytesToRawString(ValidFormat(Format).Encode(CalcBuffer(Value[low(Value)], Length(Value) * SizeOf(Value[low(Value)]))))
  {$ELSE}
  Result := BytesToRawString(ValidFormat(Format).Encode(CalcBuffer(Value[1], Length(Value) * SizeOf(Value[1]))))
  {$IFEND}
 else
  begin
   SetLength(Buf, 0);
   Result := BytesToRawString(ValidFormat(Format).Encode(CalcBuffer(Buf, 0)));
  end;
end;

Hier kommt der richtige MD5-Hash raus.

[TurboMagic]

Naja, in deinem Fall ist auch klar warum das richtige raus kommt:
Die benutzt RawByteString, also 8-Bit pro Zeichen.

Und wie ja schon ermittelt wurde kommt auch bei der aktuellen Version
das richtige raus, wenn man das richtige Overload aufruft.
=> also ggf. TypeCast

Grüße

TurboMagic

[Kas Ob.]

@TurboMagic

It will be nice if there a demo, a specific one to point and emphasize how strings being handled and how other library does it, eg. Indy or any popular PHP library .. etc