Kann aber auch an ungleichen Zufallszahlen liegen, wer weiß.
Ermittele mal die Zufallszahlen vorher und schreibe die in ein Array. Zum Einen bekommst du dann besser vergleichbare Ergebnisse und zum Anderen fließt die Zeit für die Random-Aufrufe nicht in die Messung mit ein.
Weiterhin würde ich TStopWatch zur Messung nehmen. Das ist potentiell genauer.