Du kannst auch den Namen der Datei angeben, in der der obige Code steht.
Ich bin mir nicht sicher ob es mit der Raute funktionmiert, aber theoretisch müsste es gehen.
Edit: Ja es geht. Grad auf meinem Webspace getestet.
Wenn der alleinige header()-Aufruf bei dir geht (was du bestätigt hast), dann müsste der auch in der HTML-Konstellation funktionieren.
Kommen denn irgendwelche Fehlermeldungen?
Siehst du mehr als nur den HTML-Button?
Ist der der Code in einer Datei mit Dateiendung ".php"?