DOMANDA scheda video economica per AI locale (max 8B) con queste specifiche?

Pubblicità
K

kafuin

Nuovo Utente
Messaggi
5
Reazioni
0
Punteggio
28
Ciao a tutti,
sto valutando se ha senso acquistare una scheda video economica per far girare modelli AI locali (fino a 8B di parametri) sul mio PC. Le specifiche attuali sono:

  • CPU: Intel i5-10400
  • Mobo: Asus TUF H470-PRO GAMING (WiFi)
  • RAM: Crucial Ballistix 2666 MHz (16/32 GB, dipende dalla configurazione)
  • PSU: be quiet! System Power 9 400W
  • SSD: Samsung 870 Evo 500 GB
  • Case: DeepCool Matrexx 55 Mesh
Considerando che l’alimentatore è da 400W e il budget limitato (sotto 300 euro), mi chiedevo, vale la pena aggiungere una GPU economica (es. NVIDIA GTX 1650/1660, RTX 3050, o equivalente usata) per migliorare la velocità attuale di risposta? Con 400W, quali modelli mi consigliate senza dover cambiare PSU?
 
Considera il fatto di andare su una rtx non gtx visto la mancanza dei tensor core non gireranno bene le alternattive sono comunque o una 3050 o una 2060 o una A2000 6GB vedi cosa trovi nel mercato dell'usato tutti i modelli qui elencati vanno bene per i 400w del tuo psu
 
kafuin ha detto:
Considerando che l’alimentatore è da 400W e il budget limitato (sotto 300 euro), mi chiedevo, vale la pena aggiungere una GPU economica (es. NVIDIA GTX 1650/1660, RTX 3050, o equivalente usata) per migliorare la velocità attuale di risposta? Con 400W, quali modelli mi consigliate senza dover cambiare PSU?
Clicca per espandere...
metti da parte altre 100€ e buttati su una 5060 e nuovo alimentatore, il boost in IA avuto dalla serie 5000 è quasi il doppio rispetto alla 4060
 
Per gli LLM da 8 miliardi di parametri servono almeno 12 GB di vram però. con 8 GB si sta molto stretti
 
Se vai di rtx, ma in teoria andrebbe bene anche con AMD o Intel, usando l'offload della GPU puoi usare modelli più grandi con meno richiesta di vram. Adesso uso gemma 3 12B tutto sugli 8 GB vram della mia 3060TI. Quindi lascia perdere la serie GTX ormai, con una 3050 da 8 Gb, che il tuo PSU regge, perchè nell'elaborazione usa più la vram che il core gpu
Nvidia offload qualche info fino a scheda da 4 GB

​

 
Grazie a tutti per le info.
Ultima domanda se sostituisco l'alimentatore potrei optare per queste schede:
Geforce Rtx 3060 Ti 8gb vram
Geforce Rtx 3060 12 GB vram
Geforce rtx 5060 8gb vram

Cosa mi consigliate tenendo in considerazione il fatto che avrei bisogno di lavorare con un contesto con più di 2000 token
 
kafuin ha detto:
Grazie a tutti per le info.
Ultima domanda se sostituisco l'alimentatore potrei optare per queste schede:
Geforce Rtx 3060 Ti 8gb vram
Geforce Rtx 3060 12 GB vram
Geforce rtx 5060 8gb vram

Cosa mi consigliate tenendo in considerazione il fatto che avrei bisogno di lavorare con un contesto con più di 2000 token
Clicca per espandere...
il problema è che la 3060 ha più VRAM, ma meno banda della Ti e 3060 e 3060Ti hanno ram più lente della 5060 e manca tutta la serie 4000
 
se vuoi restare nella fascia di prezzo da 300€ circa, è più importante la vram che la velocità della gpu, quindi o scegli la "vecchia" 3060 12 GB per il supporto CUDA, oppure la Arc B580 12 GB oppure ancora mettere la "vecchia" Intel Arc A770 16 GB dove intel ha dimostrato di aver un buon supporto per AI, e ha anche Openvino oltre che al supporto Vulkan ottenendo ottimi risultati. Con 16 GB tieni tutto in memoria, modello e pesi e hai ottima velocità di elaborazione. Poi passando a 32 GB di ram puoi usare con un pochino di perdita di prestazioni a livello di tempo impiegato anche medelli da 27/30B parametri
 
Pubblicità
Pubblicità
Indietro
Top