Danke, das Verwenden mit externem MSBuild scheint erst einmal zu helfen. Allerdings steigt der Zeitbedarf damit auch ganz schön an.
Ob's allerdings wirklich die Ursache ist, keine Ahnung, denn sooo riesig ist mein Projekt ja nun auch nicht. Da müßten dann eigentlich schon mehr Leute mal drüber gestolpert sein.