Ich würde Dir eine Vermengung von
VCL und FMX in einer Exe nicht empfehlen.
Mal abgesehen davon, dass es Deine Anwendung (Exe) nicht unerheblich vergrößern wird, es könnten sich bei der weiteren Entwicklung auch irgendwelche unerklärlichen Probleme ergeben.
Daher: Wenn Du Deine APP auch für MAC oder Linux anbieten willst, wäre FMX der richtige Weg.
Wenn es aber nur für Windows sein soll: Da Du schreibst, dass Du nur die Anzeige für 3D benötigst, könntest Du auch eine Anzeige-Anwendung in FMX programmieren, die Du dann von Deinem anderen (
VCL-) Programm mit Parameterübergabe aufrufst (z.B. speicherst Du dann temporär die anzuzeigenden Daten ab und übergibst der Anzeige-Anwendung den Dateinamen beim Start-Aufruf).