Ich würde KewPreview vom Form auf true setzen und dann die Tasten nur im Form abfangen
Ansonsten...
naja, du solltest die Buttons/Panels irgendwie organisiert haben damit du auch aufs richtige wechselst.
Ich würde ja vorschlagen, nimm ein zweidimensionales array of TButton/TPanel, aber ich denke für den totalen noob ist das ein bischen viel verlangt.