Selbst schuld, wenn du ständig RSA verwendest.
Asymmetrische Verschlüsselung ist nun mal langsam. Deshalb wird bei praktisch allen Protokollen RSA nur am Anfang verwendet, um sich auf einen gemeinsamen Session-Schlüssel zu einigen, mit dem dann symmetrisch verschlüsselt wird.