Nimm einen Profiler oder messe einfach im Server-Programm, welcher Teil die Zeit verplempert.
(Ich würde mal auf die Grafikkarte tippen -> Auslesen des Bildschirminhalts)
Es steht im Eingangspost, das es das nicht sein kann, wie sonst würde es funktionieren wenn ich Server und Client am PC oder Laptop laufen habe?
Das Problem liegt am Socket/Netzwerk.