Okay habe auch das Problem gelößt. Ich benutze wieder nur ein TGPGraphics (Backbuffer) aber erstelle die zeichenflächen jetzt wie folgt:
Für den Backbuffer:
CreateCompatibleDC
CreateCompatibleBitMap
(Beides from DesktopDC)
erstelle dann ein TGPGraphics vom neuen
DC und benutze am ende BitBlt um das Endresultat aufs Fenster zu kriegen. Bin jetzt wieder bei 3%