Um zu prüfen ob ein Punkt in der Ebene in dem Dreieck liegt könntest du folgendes machen:
Kleine "Skizze":
Das Dreieck besteht jetzt mal aus A. b und C und der Punkt ist P
1. Ermittle den Winkel ABC und den Winkel PBC mittels Skalarprodukt. Bildlich gesprochen: Liegt der Punkt P aus Sicht von B zwischen den Punkten A und C?
2. Wenn das passt (PBC > 0 && PBC < ABC), musst du das noch für eine andere Ecke machen.
Du brauchst wahrscheinlich nichtmal den Winkel errechnen und kannst dir so den arccos sparen um noch etwas rechenzeit herauszuholen.