Abgerundete Fenster wie per PN angesprochen sind sicher kein Problem, die Frage ist nur wie das aussehen soll. Eine selbst definierte Region übergeben oder nur Parameter festlegen?
Um genau zu sein gibt es z.B. die Funktion CreateRoundRectRgn, deren beide Parameter für die Ellipse, die die Rundung darstellt, einfach angegeben werden könnten.
http://msdn.microsoft.com/en-us/library/dd183516.aspx
Das einzubauen wäre kein Problem.
Die andere Möglichkeit wäre selbst eine solche Region zu definieren und der Komponente zu übergeben, dann wären auch z.B. Ränder wie Briefmarken gezackt denkbar.
Aber man muss eben alles selbst machen und der Komponente übergeben. (Nebenbei ginge das auch ohne Modifikation der Komponente.)