Certo, Mutter è il window manager di Gnome che integra il compositore.
Non so se esistono delle estensioni apposite. Per curiosità, ho visto in giro e ti suggerisco questi due link (ho aggiunto uno spazio tra "https" e ":"):
https ://github.com/horst3180/arc-theme/issues/8
https ://askubuntu.com/questions/1150373/how-do-i-control-all-window-shadows
Bisognerà operare direttamente sui css dei temi.
Dato che non uso Gnome, non posso fare di più.