Ich würde einfach von allen verbliebenen Punkten den Winkel ausrechnen und dann den kleinsten Winkel hernehmen. (Wenn man die konvexe Hülle im Uhrzeigersinn aufbaut)
Hmmm ... okay das wäre dann wohl
http://de.wikipedia.org/wiki/Graham_Scan
Dort ist auch ein schöne Formal angegeben für dein Problem, ob ein gewisse Punkt C auf, links oder rechts der Gerade AB liegt.
Falls du aber ohnehin schon ein Polygon hast, kannst du auch alle Punkte aus dem Polygon entfernen, deren Innenwinkel >= 180° ist. Dann sollte die konvexe Hülle des Polygons übrig bleiben
