Das OnClick Ereignis wird normalerweise an das Parentfenster weitergegeben. Und dies ist dann, wenn man es richtig macht der OpenDialog.
Ich würde davon abratene
VCL und reine
Win32 API zu nmischen. Erstell liber die Schaltfläche mit CreateWindowEx auf dem Dialog.