Scheda video per AI locale

Pubblicità
master1986 ha detto:
Ragazzi per favore non fate storie per me, ho capito cosa mi avete consigliato e tutti avete detto cose sagge. Cerco di trarre suggerimento. Ovviamente 1000 euro sono troppi, sto pensando alla 5060ti da 16gb

MSI GeForce RTX 5060 Ti 16G INSPIRE 2X OC Scheda Video - Memoria 16GB (GDDR7), Interfaccia PCI Express Gen 5 x16, Core CUDA 4608 unità, Risoluzione Max. (7680 x 4320) - Zero Frozr, Doppia ventola : Amazon.it: Informatica

MSI GeForce RTX 5060 Ti 16G INSPIRE 2X OC Scheda Video - Memoria 16GB (GDDR7), Interfaccia PCI Express Gen 5 x16, Core CUDA 4608 unità, Risoluzione Max. (7680 x 4320) - Zero Frozr, Doppia ventola : Amazon.it: Informatica
www.amazon.it
La 5070ti sempre costa 1000 euro e passa... la differenza è molta? nel mio caso il modello che mi consiglia lo stesso claude è: Qwen 2.5 32B
Clicca per espandere...
per un modello a 32B distillato serve una scheda con molta VRAM minimo 16GB se vuioi farlo girare con una certa velocità.
E con chipo anche piuttosto potenti più potgente è la scheda è melgio è

master1986 ha detto:
ma infatti io sto già facendo con il Ryzen 7950x... ho 32gb di ram e sta viaggiando su quello, con php invio la richiesta http a ollama e mi stampa il risultato in testo (breve analisi di numeri), in italiano ovviamente.

ad esempio per generare un testo di 3 righe commentando l'andamento delle temperature di un ambiente ci sono voluti: Tempo risposta AI: 28481 ms

è ovvio che mettendo una gpu tutto questo si accorcerebbe.
Clicca per espandere...
è lentissimo
Forse non ci capiamo

Non è che una cosa non la fai quello che cambia è il tempo che impeghi ad ottenere un testo una risposta, infatti si misurano in token/s

più la scheda è potente e meno impiega a generare quello che ti serve tutto è relativo questo
 
Ultima modifica:
Ok grazie dei chiarimenti.

jesse83 ha detto:
Per far girare quello lì, che ha 32 miliardi di parametri, ti serve almeno la 5090 che ha 32 GB di Vram.

A parte che per scrivere codice qwen ha i modelli qwen-coder, sia 2.5 che 3. io sulla 5070Ti ci faccio girare quello a 14 miliardi di parametri a pelo.
Clicca per espandere...
lasciamo stare mi affido a gpt code o claude codice. ci ho rinunciato all'idea.
 
ma scusa fare un bot come quello che ho creato io in python x fargli leggere due dati con un modello LLAMA in locale mica è difficile... Ovviamente devi avere un pò di manualità in python.
Di LLAMA ci sono pure i modelli mini che occupano massimo 2.5gb di ram. Per leggere 4 dati in croce non mi pare assurdo eh!
 
Ho scelto di prendere la 5070ti da 16gb, ho preso questa in una situazione complicata, dove le offerte ci sono per alcuni minuti e poi spariscono, assurdo.

https://www.amazon.it/dp/B0DZD6QV9L...5ZSQ32HWZSRBCZRJC&badgeInsights=insights&th=1

Ora avrei bisogno di capire l'alimentatore da prendere, il mio focus titanium 650w credo che sia al limite con il 7950x che uso al 100% su 16core in molti casi, pompa del raffreddamento xd5 e 10 ventole e con due hd meccanici. Aggiungendo questa 5070 credo che se cpu e gpu siano caricate al massimo (non avviene sempre) sforerei tale soglia massima.

Consigli per alimentatore? grazie mille
 
master1986 ha detto:
Ho scelto di prendere la 5070ti da 16gb, ho preso questa in una situazione complicata, dove le offerte ci sono per alcuni minuti e poi spariscono, assurdo.

https://www.amazon.it/dp/B0DZD6QV9L...5ZSQ32HWZSRBCZRJC&badgeInsights=insights&th=1

Ora avrei bisogno di capire l'alimentatore da prendere, il mio focus titanium 650w credo che sia al limite con il 7950x che uso al 100% su 16core in molti casi, pompa del raffreddamento xd5 e 10 ventole e con due hd meccanici. Aggiungendo questa 5070 credo che se cpu e gpu siano caricate al massimo (non avviene sempre) sforerei tale soglia massima.

Consigli per alimentatore? grazie mille
Clicca per espandere...
la shadows è una delle custom più economcihe ma anche la più "scarsa" come dissipazione la'limentatore che possiedi basta
 
crimescene ha detto:
la shadows è una delle custom più economcihe ma anche la più "scarsa" come dissipazione la'limentatore che possiedi basta
Clicca per espandere...
Per le altre saliamo più in alto si parla di 1200 euro, io non devo giocarci con il PC. La voglio usare solo per modelli locali. In che senso scarsa come dissipazione ? Calda molto ?
 
Ultima modifica:
master1986 ha detto:
Per le altre saliamo più in alto si parla di 1200 euro, io non devo giocarci con il PC. La voglio usare solo per modelli locali. In che senso scarsa come dissipazione ? Calda molto ?
Clicca per espandere...
c'erano schede più economiche e milgiori, però adesso i prezzi stanno salendo quindi prendi quello che c'è
 
mr_loco ha detto:
tienila per ora, se è venduta da amazon sei comunque coperto per 24 mesi
Clicca per espandere...
si venduta e spedita da amazon. ripeto (e lo sapete meglio di me) comprare una scheda è difficile, devi stare a guardare ore e ore, anche di notte, come sono disponibili subito spariscono. avrei preso la inspire 5060ti a 569 euro ma non è piu disponibile, questa è 256bit e ha un clock maggiore sicuramente gira piu veloce.

PS: mi consigliate un buon alimentatore superiore comunque al focus? magari questo lo sposto su un altro pc e qui metto uno piu potente.
 
master1986 ha detto:
si venduta e spedita da amazon. ripeto (e lo sapete meglio di me) comprare una scheda è difficile, devi stare a guardare ore e ore, anche di notte, come sono disponibili subito spariscono. avrei preso la inspire 5060ti a 569 euro ma non è piu disponibile, questa è 256bit e ha un clock maggiore sicuramente gira piu veloce.

PS: mi consigliate un buon alimentatore superiore comunque al focus? magari questo lo sposto su un altro pc e qui metto uno piu potente.
Clicca per espandere...
il SAMA se vuoi spendere poco o NZXT core per qualcosa di più, sono entrambi di fascia alta
 
Pubblicità
Pubblicità
Indietro
Top