Il case lo puoi tenere se non hai intenzione di mettere hardware molto prestante.
L'alimentatore, indipendentemente da cosa sia conviene sostituirlo vista l'eta.
Con 350/500e oggi prendi mobo/cpu/ram decisamente piu performanti di quel vecchio i7 (andrebbe cmq verificato qual'e' la causa del problema, magari apri una discussione a tal proposito).
La GPU se non hai pretese di alta risoluzione e se funziona si puo tenere... Se non ci devi giocare o fare editing puoi cercare una CPU con iGPU.
Per i dischi se non ci tieni su dati che non puoi perdere puoi usarli finche campano.