Die Funktion Rgb2Gray macht im Prinzip folgendes
Gray:=Trunc(R*0.299 + G*0.587 + B*0.114)
Result:=Gray shl 16 or Gray shl 8 or Gray
Hierbei sind R,G,B die im RgbValue enthaltenen Farbanteile
Bedenklich erscheint mir, dass das Register ESI verändert wird was zu unvorhersehbaren Problemen führen kann.
Vermutlich ist das aber nicht die Ursache für dein Problem, denn die Abweichung tritt ja auch dann auf wenn die Funktion Rgb2Gray nicht eingesetzt wird.
Unabhängig hiervon würde ich abraten, die Funktion Rgb2Gray zu benutzen oder am Anfang ein Push ESI und am Ende ein Pop ESI einzufügen.
Alternativ kannst du die nachstehende Funktion RgbToGray verwenden, die deutlich kompakter ist, identische Resultate liefert und zusätzlich zu eax,edx,ecx keine weiteren Register braucht.
Code:
FUNCTION RGBtoGray(Value:ColorRef):ColorRef;
asm
movzx edx,al
imul edx,19595 // Red
movzx ecx,ah
imul ecx,38470 // Greean
shr eax,16
imul eax,7471 // Blue
add eax,ecx
add eax,edx
shr eax,16
mov ah,al
shl eax,8
mov al,ah
end;