Das hat erst mal nichts mit Deinem
ssh-Port zu tun.
Anbei mal ein Bild, das zeigt wo Du wie die Porteinstellung in Putty vornimmst.
Aber zuerst mal meldest Du dich mit
ssh auf deinem Server an und dann kannst Du Deinen neuen
mysql (mariadb) zugangsdaten testen. Wenn das soweit klappt, dann trag mel den tunnel in Putty ein und dann kannst Du den Zugang von Delphi aus testen.
Die publickey Authentifizierung stört nicht.