Im Grundlegenden ist die Antwort auf deine Fragen relativ einfach: Lineare Algebra.
Du kannst bspw. schauen, wie eine solche Aufgabe mit
DirectX gelöst werden würde (Projektionsmatrizzen und Vektoren). Dich durch einführende Tutorials arbeiten wäre da ein guter Anfang, auch ein grundlegendes Verständnis zu entwickeln. Danach kannst du den Teil, den
DirectX erledigt, manuell umsetzen. Aber als Vorwarnung: Das wird nicht einfach, sehr zeitintensiv, und der Lerneffekt wird das einzig Brauchbare davon sein.
Aus Neugier muss ich jetzt aber fragen: Wie zeichnest du derzeit Objekte aus unterschiedlichen Perspektiven? Deine Beschreibung was funktioniert und was nicht gibt mir Rätsel auf.