Mit der von Dir gemachten Einschränkung halte ich es für unmöglich, ausser jemand kennt einen Code, der hellseherische Fähigkeiten implementiert
Random in Delphi berechnet eine Zahl aus einem Zahlenbereich, der aus Start- und Endwert besteht.
Einzige Möglichkeit ist die von Dir beschriebene Vorgehensweise. Eine eigene Random-Funktion, die man mit Zahlen füttern kann, aus der ausgewählt würde, wäre letztlich das gleiche. Beides muss die gewünschten Zahlen irgenwie verwalten und über eine Art "zufälligen" Index daraus auswählen.