Power funktioniert nicht wie gedacht

Ein Thema von DieDolly · begonnen am 24. Jul 2018 · letzter Beitrag vom 25. Jul 2018

Registriert seit: 6. Dez 2005
999 Beiträge

#11

24. Jul 2018, 20:08

Ich bin mir unsicher aber ich glaube I := Round(System.Math.Power(1024, 7)) funktioniert nicht, selbst wenn I Int64 ist.
Der Fehler lautet

Zitat:

Exception der Klasse $C0000090 mit der Meldung 'floating point invalid operation at 0x004075ff' aufgetreten.

Richtig. 1024=2^10 also 1024^7 = 2^70 und das maximale int64 is 2^63-1. Hier wirst Du nicht um Fließkomma herumkommen, am besten Double.

Geändert von gammatester (24. Jul 2018 um 20:15 Uhr)

Es ist dir nicht erlaubt, neue Themen zu verfassen.

Es ist dir nicht erlaubt, auf Beiträge zu antworten.

Es ist dir nicht erlaubt, Anhänge hochzuladen.

Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.

Smileys sind an.

[IMG] Code ist an.

HTML-Code ist aus.

Refbacks are aus

Gehe zu: