B089896DDE61B804B603F7866A9D664B ist auf jeden Fall der richtige MD5 Hash für 'Testwert'. Ich vermute auch, dass die
DEC Variante den Unicodestringparameter nicht korrekt verarbeitet. Dazu müsstest du mal den Quelltext der lMD5_DEC.CalcString Methode hier posten.
Mit neueren Delphi's kannst du auch die mitgeliferten Hash Routinen nutzen:
hash := System.Hash.THashMD5.GetHashString('Testwert');