Wenn du nur die Neuerungen hinzufügen willst, hast du im wesentlichen zwei Möglichkeiten:
1. Du erstellst Patches.
RTPatch ist hier der einzige Name, der mir einfällt, aber es gibt sicherlich unzählige weitere. Bei kleineren Anwendungen lohnt sich das aber vermutlich nicht.
2. Du modularisierst dein Programm und teilst es in einzelne Bibliotheken (DLLs bzw. BPLs) auf. Diese kannst du dann, wenn sich das Interface nicht ändert, einzeln austauschen, genau wie die EXE-Datei. Auch das lohnt sich bei kleinen Programmen nicht wirklich.
Und jetzt zu deinem Update-Button:
Du kannst die aktuelle Versionsnummer z.B. in einer einfachen Textdatei (oder
XML-Datei, die dann z.B. auch weitere Informationen enthalten kann wie die Neuerungen oder Warnungen bei Inkompatibilität zu älteren Versionen) hinterlegen. Pack diese auf den Webserver. Dein Programm lädt sich jetzt diese Datei herunter (Schlagworte wären vielleicht die Indys oder auch URLDownloadToFile / URLDownloadToCacheFile), schaut sich die Version an und entscheidet dann, ob ein Update fällig ist (oder fragt den Benutzer). Falls ja, kannst du das Update ebenso herunterladen. Dann musst du dich aber für einen Update-Mechanismus entscheiden, derer hier im Forum viele beschrieben werden (meistens mit einem externen Programm, das dann Admin-Rechte anfordert).