Single wert ist unterschiedlich obwohl gleich

[EWeiss]

Zitat von gammatester:

Der Wert für 0.68 als Single ist 0.680000007152557373046875. Also ist er in der DLL richtig.
Wie ist rScale deklariert?

rScale ist natürlich als Single definiert.

Zitat:

Der Ausdruck `rScale > SCALE_DEFAULT` wird je nach Compiler als Double oder Extended ausgewertet

Was muss ich jetzt tun?
Hatte noch nie so ein Problem.

OK habe es selbst herausgefunden. Danke!

Delphi-Quellcode:

const
  SCALE_DEFAULT: single = 0.68;

Noch nie ein ähnliches Problem gehabt.

gruss

[gammatester]

Zitat von EWeiss:

Zitat:

Der Ausdruck `rScale > SCALE_DEFAULT` wird je nach Compiler als Double oder Extended ausgewertet

Was muss ich jetzt tun?
Hatte noch nie so ein Problem.

Versuch mal Folgendes:

Delphi-Quellcode:

tmpsingle := rScale - SCALE_DEFAULT;
if tmpsingle > 0 then ...

oder wahrscheinlich besser definiere SCALE_DEFAULT als single

Delphi-Quellcode:

const
  SCALE_DEFAULT: single = 0.68;

[EWeiss]

Zitat von gammatester:

Zitat von EWeiss:

Zitat:

Der Ausdruck `rScale > SCALE_DEFAULT` wird je nach Compiler als Double oder Extended ausgewertet

Was muss ich jetzt tun?
Hatte noch nie so ein Problem.

Versuch mal Folgendes:

Delphi-Quellcode:

tmpsingle := rScale - SCALE_DEFAULT;
if tmpsingle > 0 then ...

Ich habe es so gelöst.. Danke.

Delphi-Quellcode:

const
   SCALE_DEFAULT: single = 0.68;

gruss

[gammatester]

Zitat von EWeiss:

Ich habe es so gelöst.. Danke.

Delphi-Quellcode:

const
   SCALE_DEFAULT: single = 0.68;

gruss

Freut mich zu lesen, mein Edit hatte sich mit Deiner Antwort gekreuzt.

[EWeiss]

Zitat von gammatester:

Zitat von EWeiss:

Ich habe es so gelöst.. Danke.

Delphi-Quellcode:

const
   SCALE_DEFAULT: single = 0.68;

gruss

Freut mich zu lesen, mein Edit hatte sich mit Deiner Antwort gekreuzt.

Macht ja nichts
Danke trotzdem.
Die kleine Abfrage hat bei mir 35% CPU Auslastung verursacht weil es immer true war.

gruss

[jaenicke]

Wenn das an einer Stelle wichtig ist, würde ich immer zusätzlich zum Vergleich IsZero benutzen um mit einem genügend kleinen Epsilon die Gleichheit auszuschließen.

[himitsu]

Single = 7-8 signifikante Dezimalstellen, also im Wost-Case nur 7.
Die erste Signifikante ist von links die erste Nicht-Null.

0.68000000715

Selbst Schuld, wenn du einen Wertebereich haben willst, der nichtmals Ansatzweise in den Datentyp passt.
Und selbst wenn, dann sind auch innerhalb der Signifikanten Rundungsfehler möglich, vor allem bei gewissen unendlich langen Werten ala 2/3.

Single hat einen 8 Bit-Exponent und eine Mantisse von 23 Bit Länge, inkl. einem virtuellen Bit, wenn der Exponent 0 ist, also 24.
2^24 = 16.777.215 = nicht ganz 8 Dezimalstellen (nur 1. bis 7. können alles von 0 bis 9 sein)