Du brauchst für Git keinen "Server". Lediglich
SSH-Zugang für deine Nutzer (also dich selbst). Alles, was dann noch nötig ist, ist ein "git init" in dem Verzeichnis wo das Repo sein soll. Danach kannst du fröhlich clonen (und pushen / pullen).
Und wie wird der Zugriff auf den zentralen Server geregelt und welcher User auf welche Repo's zugreifen darf?
Mavarik