Ersteinmal sollte die Kommunikation einen Header mit Signatur (Zeichenkette, an der man erkennt, obs dein Programm ist, wie 'MZ' bei der Exe) und Hash beinhalten. Damit kann man (einfache) DoS-Angriffe abwehren. Zweitens: Wenn dein Server auf einem eigenen Computer läuft, sollten SYN/ACK-Pakete (
TCP/
IP) abgefangen und sofort vernichtet werden (ganz fieser DDoS-Angriff, kann evtl. eine Firewall machen). Ansonsten das Übliche wie
IP-Tabelle (höchstens x Verbindungen von einer
IP, evtl. durch Firewall), kein unsicherer Code (Move, Pointer / Buffer overrun), bei Format (printf unter C) aufpassen.
Seriöse Bücher zum Thema "Wie werde ich Hacker?" könnten weitere Informationen geben.