Du hast in der
Unit "UnitMain" auch TSortDirection definiert.
Nun weis der Compiler nicht was er nehmen soll bzw. er nimmt das was am nächsten definiert ist.
Du musst daher die Unitnamen vor der Definition schreiben (mit Punkt getrennt).
VstEmpfaenger.Header.SortDirection:=VirtualTrees.TSortDirection(1- ord(VstEmpfaenger.Header.SortDirection))