Ich habe gerade eine Option gefunden die mich zumindest für einen Großteil weiter bringt.
Ich habe in den TreeOptions.SelectionOptions das Flag 'toSiblingSelectConstraint' gesetzt, dadurch kann ich nur Einträge innerhalb eines Teilbaums gleichzeitig markieren.
Komisch ist nur das ich trotzdem auf die anderen Einträge klicken kann und diese den Focus bekommen.
http://www.delphipraxis.net/552575-post2.html