GraKa-Treiber sind nicht so essentiell, dass sie statisch in den Kernel reinmüssen. In der Regel klinkt die Paketverwaltung (wenn denn darüber installiert) die als DKMS-Modul ein. Wobei klar sein dürfte, dass die bei jedem Kernelupdate auch geupdatet/rekompiliert werden müssen. Aber das passiert i.d.R. alles vollautomatisch.
Was für eine GraKa ist es denn? Bei nVidia rate ich dir auf jeden Fall zum Nouveau-Treiber. Es handelt sich um einen freien Nachbau des proprietären Treibers, der durch Reverse Engineering entstanden ist. Dennoch lief er bisher bei mir
immer um ein vielfaches besser als der proprietäre
