Ich verwende InstallAware15 und kenne InnoSetup nicht.
Deine Parameterliste ist OK (ich würde zwar Filenamen generell in "" setzen, aber es geht auch so wie du es geschrieben hast).
Was mir auffällt. Im
InnoSetup Help steht, dass der Schlüsselfilename in Anführungszeichen angegeben werden soll. (Ich weiss nicht, was InnoSetup so alles anstellt, bis die Parameter dem Signtool übergeben werden und würde diese "" deshalb mal setzen.)
Im Help steht, wie du das SignTool wählen kannst. Hast du mal signtool.exe aus dem Win10
SDK ausgewählt? Also entweder über den Parameter /S das Tool gesetzt oder in der Entwicklungsumgebung von InnoSetup (siehe
Help)?
Hast du getestet, ob das von dir bzw. InnoSetup gewählte SignTool mit deinen Parametern ausserhalb von InnoSetup funktioniert (CMD)?