Du kannst die Einheit "1 Pixel" nicht unterschreiten. Das Einzige, was man tun kann, um den Treppchen-Effekt zu vermeiden, ist unter dem Stichwort "Anti-Alias" zu finden. Dadurch werden die Übergänge etwas sanfter dargestellt. Soetwas mit einem TCanvas realisieren zu wollen, ist aber zum einen ein Mords-Aufwand, zum anderen hat das dann mit Genauigkeit noch viel weniger zu tun, da Du Deine Linie gewissermassen "verschmierst".
Wenn Dir die Auflösung zu ungenau ist, dann bietet sich eine Skalierung der Achsen an. Dies kannst Du leicht innerhalb Deiner Zeichen-Routine erledigen.
Grüße,
Daniel
Daniel R. Wolf