Se le hai serrate molto potrebbe essere controproducente: le istruzioni generalmente dicono di non forzare. Perchè in effetti i problemi di stabilità potrebbero dipende da quello (eccessivo serraggio potrebbe causare un cattivo contatto su alcuni pin). Potrebbe valere la pena di smontare il waterblock e controllare la coppia di serraggio: eventualmente se sono molto strette le alleggerisci appena appena.
Altra cosa: prova, da prompt dei commandi (lanciato da amministratore) a fare un sfc/scannow, magari hai dei file di sistema corrotti da prima e sono quelli a darti problemi. Comunque, per il momento rimani a stock, senza nemmeno l'XMP, così escludiamo ragionevolmente le RAM dall'equazione.