Scheda video per AI locale

[crimescene]

Ragazzi per favore non fate storie per me, ho capito cosa mi avete consigliato e tutti avete detto cose sagge. Cerco di trarre suggerimento. Ovviamente 1000 euro sono troppi, sto pensando alla 5060ti da 16gb

MSI GeForce RTX 5060 Ti 16G INSPIRE 2X OC Scheda Video - Memoria 16GB (GDDR7), Interfaccia PCI Express Gen 5 x16, Core CUDA 4608 unità, Risoluzione Max. (7680 x 4320) - Zero Frozr, Doppia ventola : Amazon.it: Informatica

MSI GeForce RTX 5060 Ti 16G INSPIRE 2X OC Scheda Video - Memoria 16GB (GDDR7), Interfaccia PCI Express Gen 5 x16, Core CUDA 4608 unità, Risoluzione Max. (7680 x 4320) - Zero Frozr, Doppia ventola : Amazon.it: Informatica

www.amazon.it

La 5070ti sempre costa 1000 euro e passa... la differenza è molta? nel mio caso il modello che mi consiglia lo stesso claude è: Qwen 2.5 32B

per un modello a 32B distillato serve una scheda con molta VRAM minimo 16GB se vuioi farlo girare con una certa velocità.
E con chipo anche piuttosto potenti più potgente è la scheda è melgio è

ma infatti io sto già facendo con il Ryzen 7950x... ho 32gb di ram e sta viaggiando su quello, con php invio la richiesta http a ollama e mi stampa il risultato in testo (breve analisi di numeri), in italiano ovviamente.

ad esempio per generare un testo di 3 righe commentando l'andamento delle temperature di un ambiente ci sono voluti: Tempo risposta AI: 28481 ms

è ovvio che mettendo una gpu tutto questo si accorcerebbe.

è lentissimo
Forse non ci capiamo

Non è che una cosa non la fai quello che cambia è il tempo che impeghi ad ottenere un testo una risposta, infatti si misurano in token/s

più la scheda è potente e meno impiega a generare quello che ti serve tutto è relativo questo

 

[master1986]

Ok grazie dei chiarimenti.

Per far girare quello lì, che ha 32 miliardi di parametri, ti serve almeno la 5090 che ha 32 GB di Vram.

A parte che per scrivere codice qwen ha i modelli qwen-coder, sia 2.5 che 3. io sulla 5070Ti ci faccio girare quello a 14 miliardi di parametri a pelo.

lasciamo stare mi affido a gpt code o claude codice. ci ho rinunciato all'idea.

 

[Skills07]

ma scusa fare un bot come quello che ho creato io in python x fargli leggere due dati con un modello LLAMA in locale mica è difficile... Ovviamente devi avere un pò di manualità in python.
Di LLAMA ci sono pure i modelli mini che occupano massimo 2.5gb di ram. Per leggere 4 dati in croce non mi pare assurdo eh!

 

[jesse83]

Ok grazie dei chiarimenti.


lasciamo stare mi affido a gpt code o claude codice. ci ho rinunciato all'idea.

Ma intendi cloud a pagamento o in locale? Perché in locale è la stessa storia se vuoi usare ollama.
Segui @Skills07, per quello che devi fare è la strada migliore secondo me

 

[Skills07]

da qui ti scarichi il modello https://huggingface.co/meta-llama e ci giochi con python x fargli fare quello che vuoi, e se ti va prendi il thread che ho scritto, mi tagghi e ti aiuto