Allora avendo guardato le tue specifiche hardware il problema non dovrebbe essere assolutamente quello, ad ogni modo con le schede video AMD, sopratutto con la 480, il gioco va meglio in Directx 12 che directx 11 (a conferma ci sono molti confronti anche fatti sul sito di tom's hardware).
So che sono domande stupide, ma il case è ben pulito, soprattutto il dissipatore della CPU?
Io farei una prova...usa MSI Afterburner aperto in background mentre giochi, impostagli (dalla voce grafici) di vedere a schermo uso e temperatura della Cpu, uso e temperatura della vga, e frame al secondo. Così vedi se quando iniziano questi rallentamenti hai effettivamente i frame al secondo che si abbassano, e vedi se succede quando, ad esempio, la temp della CPU supera 70 gradi.
Altra cosa se hai la sincronizzazione verticale disabilitata attivala, o viceversa. Fai qualche prova così. Altra cosa che puoi provare nel mentre è quella di abbassare i filtri, magari quelli più esigenti
Infine, te lo fa anche su altri giochi (pesanti come Battlefield)?