Okay habs selber rausgefunden,
Damit Leute die das selbe Problem haben auch geholfen ist. Hier die Lösung.
Der
DirectX Layer braucht nen Weilchen, bis er gecheckt hat, das die Maus auf ihm gelandet ist. Deswegen eine kurze Verzögerung einbauen, nachdem die Maus auf dem Layer positioniert wurde.