Internetverbindung unerklärlich langsam

[generic]

Glasskugel an:

Fritzboxen und VLANs sind nicht so die besten Freunde - daher ungetaggte Ports für Fritzboxen nutzen!

Ich könnte mir vorstellen, dass es ein defektes Kabel ist und ggf. die Aushandlung der Portgeschwindigkeit kommt.
Wenn das wieder auftritt, dann Ping mal gleichzeitig die verschiedenen Geräte an - also Fritzboxen, Switch und AP.
Evtl. hast du auch Ärger mit Multi/Broadcast Sachen so dass ggf. der Switch dir die Ports weg schaltet. Schau mal in die Switch-Oberfläche, evtl. ist da eine Warnung drin.
Die Sachen geht auch meist nicht durch VPNs, evtl. geht es deshalb immer.