Das häng wohl mit dem Raise der
Exception (OuterException) zusammen. Verwendest Du TRestClient? Schau Dir mal den Event OnHTTPProtocolError an. Für so einen Sonderfall würde ich die automatische Decompression ausschalten und das selber behandeln.
Ich nutze keinen TRestClient. Leider ist das so eine Sache mit dem Sonderfall, es ist keiner, solche Seiten können in einer Liste mit tausenden "normalen" urls vorhanden sein. Ich werde wohl doch Deinen Vorschlag mit dem gzip header (header bytes prüfen) folgen, damit müsste es dann klappen.