Der Treiber ist an sich schon gerätespezifisch bzw. bei generischen Treibern gerätetypspezifisch (wobei das intern speziell geregelt wird, aber das sollte hier egal sein).
Allerdings muss der Treiber im Betrieb ja wissen mit welchem Anschluss er reden soll. Wie sollte sonst z.B. der parallele Betrieb zweier gleicher USB-Sticks funktionieren?
(Mal abgesehen davon, dass es ohnehin keinen Sinn machen würde, wenn der Treiber erst das Gerät suchen müsste, wenn der Anschluss nicht bekannt wäre.)
Deshalb muss die Installation des spezifischen Geräts logischerweise anschlussspezifisch passieren.
Wie du dir das sonst vorstellst, würde mich mal interessieren.