Innerhalb des Caption String die Schriftart wechseln geht nicht. Bleibe die Option einer eigenen Schriftart mit den nötigen Zeichen oder Arial hat auch Pfeile dabei.
Nur den Pfeil dann immer sauber am Rand ausrichten... wird nicht ganz einfach das genau mit Leerzeichen zu berechnen.
Evtl bietet auch die
Jedi VCL einen Button der passend ist oder wenigstens OwnerDraw um es selber wie gewünscht zu zeichnen.