Einzelnen Beitrag anzeigen

gammatester

Registriert seit: 6. Dez 2005
999 Beiträge
 
#2

AW: Single wert ist unterschiedlich obwohl gleich

  Alt 17. Jun 2018, 21:22
Der Wert für 0.68 als Single ist 0.680000007152557373046875. Also ist er in der DLL richtig.

Wie ist rScale deklariert? Der Ausdruck `rScale > SCALE_DEFAULT` wird je nach Compiler als Double oder Extended ausgewertet.

Speichere die Differenz mal als Single und schau das Ergbenis an.

Wie gesagt: die Auswertung erfolgt mit Double/Extended, hier die Werte für Double
Code:
0.68000000715  -> 0.68000000714999997430965095190913416445255279541015625
0.68           -> 0.68000000000000004884981308350688777863979339599609375
und für Extended
Code:
0.68000000715  -> 0.68000000715000000000524243981558925042918417602777481079102
0.68           -> 0.68000000000000000000650521303491302660404471680521965026855

Geändert von gammatester (17. Jun 2018 um 21:34 Uhr)
  Mit Zitat antworten Zitat