Generell sollte man (insbesondere auf Servern) keinen Dienst starten, der nicht unbedingt für den Betrieb notwendig ist. Also hat z.B. telnet auf einem Server nichts zu suchen, da es die Daten unverschlüsselt überträgt. Jeder überflüssige Dienst erhöht nur mehr das Risiko einer Sicherheitslücke (zum X-Server habe ich z.B.
hier eine ältere Meldung gefunden). Und mal ehrlich: wenn man einen *nix-Server wirklich mit allen Rafinessen feintunen möchte, ist man mit der grafischen Oberfläche recht schnell am Ende der Fahnenstange angelangt und fängt dann sowieso an, die configfiles zu patchen.