Wenn ich Dich richtig verstehe müsstest Du ScrollBarHorz.Position zu X addieren und für Y natürlich analog.
Die
VCL ist für solche Spieleentwicklungen aber nicht unbedingt erste Wahl. Sie ist eben für andere Anwendungsfälle und Abläufe vorgesehen.
Allerdings weiß ich auch nicht, was man dafür am ehesten empfehlen sollte.