Hier mal ein aktueller Stand meines oben beschriebenen Konzeptes:
https://www.delphipraxis.net/1444229-post60.html
Das Formular dient quasi nur als leere Zeichenfläche.
Dadurch brauche ich keine Synchronisation verschiedener Zeichenvorgänge, muss aber eben auch alles selbst zeichnen.