Es kommen zu wenig bytes an

[shmia]

Du solltest vor den Nutzdaten die (Gesamt-)Länge der Datei schicken. (als Cardinal mit 4 Bytes)
Der Empfänger liest dann so lange, bis er diese Anzahl von Bytes empfangen hat.

Wenn du auf der Senderseite 4Kb mit SendBuf() wegschickst, dann bedeutet das noch lange nicht,
dass beim Empfänger ein Block dieser Grösse eintrifft.
Die Wartezeit von 200ms kaschiert nur das Problem.