Möglichkeit: Der
RGB Farbraum ist linear und kann als Würfel dargestellt werden (jeder Farbanteil eine Koordinatenachse). Dann kannst du mit einer einfachen Vektorberechnung den Abstand der Farben berechnen und mit deinen Vorgaben vergleichen.
2. Möglichkeit:
HSV-Farbraum