AFAIK wird bei RDP der Inhalt der Controls (sofern Standard) übertragen und eben nicht die reine Anzeige.
Das würde erklären, warum eine Teamviewer Verbindung auf diesem Rechner "schnell" ist. Die Frage ist:
Wie stelle ich das um?
Vielleicht noch eine interessante Sache:
Ich habe das Problem versucht lokal nach zustellen, indem ich auch einen Windows Server 2012 installiert habe. => Kein Erfolg, selbe Daten, selbe Version, es ist immer schnell. Installiert man bei dem Kunden Windows Server 2008R2 oder ähnliches ist es ebenfalls schnell. Nur 2012 mag nicht.