Das Einfrieren im Debug-Modus könnte aber auch schon ein guter Hinweis sein. Wenn ich nicht irre, gibt Windows eben diese Meldung aus, wenn ein Programm seine Message-Queue nicht mehr zeitnah verarbeitet - sprich: Es ist zu beschäftigt / überlastet. Einfach zu provozieren mittels einer Dauerschleife im Hauptthread ohne Application.ProcessMessages darin.
Ich würde daher fast darauf tippen, dass dein Programm die Hardware schlicht und einfach überfordert. Man könnte zwar daher gehen und die Verarbeitung der lange dauernden Dinge in einen anderen Thread werfen, damit der Hauptthread brav weiterhin seine Messages bedient, jedoch wird der Thread dann irgendwann seinen Jobs weit hinter her laufen und ggf. den Speicher mit seiner Job-Queue füllen.
Lösungsideen: Wenn der PC eine Multicore CPU hat, und die Verarbeitung parallelisierbar ist, wären mehrere Threads ein Weg. Allerdings auch nur, wenn die CPU-Zeit der Flaschenhals ist (eher selten der Fall). Herauszubekommen, indem du dir mal den Taskmanager beguckst während dein Programm läuft, in dem Register "Leistung". Wenn dort ein Kern voll ausgelastet ist, dann wäre das eine Option (wenn die Aufgabe eben parallelisierbar ist). Sonst nicht.
Eine andere Option wäre schlicht schnellere Hardware. Als erstes würde ich aber versuchen zu gucken, ob sich innerhalb der Verarbeitungsfunktionen nicht einige Geschwindigkeitsfallen befinden, oder gar schon das Kommunikationsprotokoll auf Performance optimieren.
Fazit: Diese Art von Fehler würde ich weniger in einer
Exception suchen, als viel mehr ein Performanceproblem vermuten. Ob und wo da die geeigneten Stellschrauben sind dies zu eliminieren ist höllisch individuell.