Ich glaube dein Problem liegt woanders...
Ich vermute, dass der Aufruf von FreeLibrary schlicht hängt und der Quelltext danach gar nicht mehr ausgeführt wird.Das Handle hat nichts mit dem tatsächlichen Zustand zu tun. Das Handle ist wie der Name schon sagt nur ein "Henkel", also ein Anfasser, mit dem du auf die DLL zugreifst. Nicht mehr.

Das Problem kann z.B. sein, dass du Threadsynchronisierung im Zusammenspiel mit WaitFor benutzt. Dann kann ein Deadlock entstehen. Diesen Fall könntest du mit Messages statt Synchronisierung lösen.

Du musst jedenfalls denke ich nicht sicherstellen, dass FreeLibrary fertig durchgeführt wurde, sondern das vor dessen Aufruf alle Threads in der DLL beendet sind...