ich würde vorschlagen du hältst dir die Verbindungen in einer internen Datenstruktur wie z.B. einem array of MeinRecord.
Dort legst du u.a. z.B.
ip, username fest
den Namen kannst du in der Listbox anzeigen lassen.
wenn jetzt einer disconnected kannst du soweit ich mich erinnere die
ip ermitteln, vergleichst diese mit deinem array und löscht den entsprechenden Eintrag in der Listbox.