Hi,
du kannst ja für jeden Punkt prüfen, ob er im Polygon, das die restlichen Punkte aufspannen enthalten ist. Wenn ja, dann lässt du den Punkt weg.
Dabei wird dir das helfen:
http://paulbourke.net/geometry/insidepoly/
Viele Grüße,
Benjamin
[Edit]Übersichtlichere Seite gefunden.