Ähem, OpenSSL und signtool sind zwei gänzlich unterschiedliche Schuhe. Abgesehen davon willst du die Datei ganz offenbar signieren und eben nicht verschlüsseln (wie du an einer Stelle erwähnst).
OpenSSL (FOSS) benutzt du um bspw. ein Zertifikat zu erzeugen und so weiter. signtool (von MS) wird hingegen benutzt um eine
PE-Datei oder andere geeignete Dateien (u.a. auch MSIs) zu signieren. Bei letzterem wird die Signatur an die Datei angehangen und im
PE-Header referenziert indem auf die RVA der Signatur verwiesen wird. Faktisch gehört die Signatur aber nicht mehr zur
PE-Datei sondern ist ein Overlay.
Was du suchst ist eine Kombo aus beidem und eingehend hier beschrieben:
http://wiki.cacert.org/Authenticode