Nur eine Idee: definiere Dir eine eigene Message (auf die dann natürlich Deine eigenen Fenster reagieren müssen) und verschicke sie an HWND_BROADCAST.
Wenn das Programm zwei mal gestartet ist, würde auch das jeweils andere Programm benachrichtigt werden. Das müsste ggf. abgefangen werden.