Was ihr immer mit eurem 'deutlich langsamer' habt. Es ist nicht 'deutlich' langsamer, sondern höchstens ein wenig und dann auch nur bei Zugriff.
Bei der Zuweisung brauchen Variants ca. 25%-300% mehr Zeit als eine normale Zuweisung. Das kannst du ja leicht selbst prüfen. Je mehr in einer solchen Testschleife noch passiert desto kleiner ist der Unterschied zu Variants. Bei einer reinen Integerzuweisung z.B. kommt man an die 300% heran, bei einem IntToStr zusätzlich eher an die 25%.
Natürlich macht sich das erst bei einer großen Menge an Zuweisungen bemerkbar, da diese ansonsten vernachlässigbar ist. Trotzdem ist es wenig sinnvoll unnötigerweise Variants zu nutzen, wenn es anders geht. Wenn man dann einen solchen Quelltext an einer Stelle nutzt, der mehr Performance benötigt, muss man alles mühsam umstellen, nur weil man ohne Not bewusst die schlechtere Wahl getroffen hat...