Also ich habe keinen Rahmen mehr unter Verwendung von Manifest und SetWindowRgn.
Beides sind Button.
Ich vermute mal das bei dir die Flags für die Button verändert werden müssen.
WS_CLIPSIBLINGS und (WS_CLIPCHILDREN nur Hauptanwendung TForm als Beispiel) andernfalls bleiben die Rahmen bestehen.
Wobei zweites nicht zwingend nötig.
EDIT:
Bin mir jetzt nicht 100% sicher aber buttonRect scheint nicht das richtige zu sein um die Höhe\Weite des Control inklusive der Border zu erhalten.
Versuch es mal mit
GetSystemMetrics
gruss