Moin Andi,
dazu müsste es genügen, mit FindWindow das Fenster zu suchen (spielt keine Rolle ob es sichtbar ist), um an das
Handle zu kommen (Klasse und Titel müsstest Du ja wissen, schliesslich hast Du das Programm ja geschrieben).
Dann kannst Du an das Fenster WM_SYSCOMMAND mit SC_CLOSE oder WM_CLOSE schicken (via SendMessage), was das Programm dazu veranlassen sollte sich zu beenden.
Wenn das erledigt ist, kannst Du es, wie Daniel B schon sagte, mit DeleteFile löschen.
Vor dem Löschen würde ich allerdings abwarten, ob das Programm inzwischen beendet ist, so dass die EXE nicht mehr durch das System gesperrt ist (z.B. in einer mit Verzögerung ausgestatten Schleife versuchen die Datei zum Schreiben zu öffnen, geht das nicht, ist die Datei noch gesperrt).
Sollte prinzipiell unter allen Systemen laufen, unter NT basierten könnte es aber passieren, dass die Rechte nicht ausreichen die Datei zu löschen.