Ich habe eine Lösung
Ich steuere das Spiel jetzt einfach nicht mehr mit den Pfeiltasten sondern mit anderen Tasten und schon geht es.
Wenn der Benutzer den Button anvisiert hat, wird ein Tastendruck simuliert und der Button unsichtbar und wieder sichtbar gemacht.
dann ist die Form wieder anvisiert und der tastendruck lief trotzdem nicht ins leere.