Scheda video per AI locale

[crimescene]

Buongiorno, e una 3090 rtx gddr6 da 24gb anche usata come la vedi ? Rispetto a una 5060 o 5070ti da 16gb gddr7

Dipende dal modello che devi caricare, i modelli più leggeri come ha detto@mr_loco li fai girare pure su 2060 appaiono monelli hanno bisogno di tantissima RAM altri di tantissima vram e possono girare solo le si schede con più vram .
La 3090 può essere una scelta

 

[Skills07]

Ripeto per dare consiglio sull'argomento dovete inziare a scrivere codice Python con MODELLI LLM , prima di dire quale scheda video va consigliata e come.
Se non sapete cosa vuole fare in python l'utente è inutile sparare GPU a fionda, dalla piu costosa.

Ripeto io ho scritto un chatbot che fa queste funzioni:
- Come chatgpt
- Analisi e riassunti di documenti
- Analisi e riassunti di email con tanto di allegati

E gira tranquillamente pure con la GTX 970.

Quindi aspettiamo che ci dica cosa deve fare l'utente con questa AI!

 

[crimescene]

Ripeto per dare consiglio sull'argomento dovete inziare a scrivere codice Python con MODELLI LLM , prima di dire quale scheda video va consigliata e come.
Se non sapete cosa vuole fare in python l'utente è inutile sparare GPU a fionda, dalla piu costosa.

Ripeto io ho scritto un chatbot che fa queste funzioni:
- Come chatgpt
- Analisi e riassunti di documenti
- Analisi e riassunti di email con tanto di allegati

E gira tranquillamente pure con la GTX 970.

Quindi aspettiamo che ci dica cosa deve fare l'utente con questa AI!

Lui ha detto che usa anche ollama, su ollama deve caricare i modelli Ai

 

[Skills07]

OLLAMA non è altro che un orchestratore (tipo docker per eseguire modelli di AI già esistenti). Nulla di piu nulla di meno!

 

[master1986]

OLLAMA non è altro che un orchestratore (tipo docker per eseguire modelli di AI già esistenti). Nulla di piu nulla di meno!

Ciao ma php può inviare richieste tramite http al server ollama e avere risposte vero? io su questo sto lavorando. faccio un esempio voglio misurare la temperatura di una stanza e avere un parere (andamento, per poi far partire dei comandi specifici)

ecco che arrivano scelte assurde, io sto progettando un AI con LLAMA, con tanto di thread su questo forum documentato, ti basta una rtx 5060 ti 16gb e non devi per forza andare di 5070 e 5080, evidentemente chi consiglia non conosce ne python ne l'argomento.

Io sto usando questa AI su due pc differenti sul muletto con un i7 4790 + 16gb ddr3 + GTX 970, e sul mio fisso con 14600kf + 32gb ddr4 + rtx 5060.

Quello che fa la differenza sono e il taglio della VRAM della gpu e i cuda core.
Adesso siccome non penso tu sia un super ingegnere dell'AI ma anzi un neofita, salvo che tu debba giocare a titoli AAA la scelta della 5060Ti è la migliore x il tuo scopo, ti permetterà di giocare in python e con L'AI senza troppi anatemi

Giusto x elencare l'argomento: https://forum.tomshw.it/threads/come-creare-un-chatbot-con-llama.1230038/

Sei stato chiaro. Volevo dirti una cosa, io ho provato a creare script con python e va, io vado a leggere dei dati che ho sul mysql, e gli dico di farmi un analisi. Ho provato anche direttamente in php a mandare istruzioni tramite http. Questo faccio ed è il mio utilizzo principale, devo creare un sistema automatizzato che scriva testi di analisi di dati.

Se tu sei riuscito a far girare queste cose sulla GTX, nel mio caso andrebbe anche questa?

ASUS Dual NVIDIA GeForce RTX 5050 OC Edition, Scheda Grafica 8GB GDDR6, 128 Bit, PCIe 5.0, 2 Ventole Axial-Tech, 1 HDMI 2.1b, 3 DisplayPort 2.1b, Software GPU Tweak III, Nera, DUAL-RTX5050-O8G : Amazon.it: Informatica

ASUS Dual NVIDIA GeForce RTX 5050 OC Edition, Scheda Grafica 8GB GDDR6, 128 Bit, PCIe 5.0, 2 Ventole Axial-Tech, 1 HDMI 2.1b, 3 DisplayPort 2.1b, Software GPU Tweak III, Nera, DUAL-RTX5050-O8G : Amazon.it: Informatica

www.amazon.it

 

[Skills07]

la 5050 è una finta 5000, in quanto praticamente è una gen 4000.
Io andrei di questa: asus dual rtx 5060 che è il minimo sindacale.

Io per quello che devi fare tu esporrei un server flask (python) che legga i dati dal tuo db, e li passi poi ad un modello llama che li elabora e ti da il risultato

 

[mr_loco]

ecco che arrivano scelte assurde, io sto progettando un AI con LLAMA, con tanto di thread su questo forum documentato, ti basta una rtx 5060 ti 16gb e non devi per forza andare di 5070 e 5080, evidentemente chi consiglia non conosce ne python ne l'argomento.

Io sto usando questa AI su due pc differenti sul muletto con un i7 4790 + 16gb ddr3 + GTX 970, e sul mio fisso con 14600kf + 32gb ddr4 + rtx 5060.

Quello che fa la differenza sono e il taglio della VRAM della gpu e i cuda core.
Adesso siccome non penso tu sia un super ingegnere dell'AI ma anzi un neofita, salvo che tu debba giocare a titoli AAA la scelta della 5060Ti è la migliore x il tuo scopo, ti permetterà di giocare in python e con L'AI senza troppi anatemi

Giusto x elencare l'argomento: https://forum.tomshw.it/threads/come-creare-un-chatbot-con-llama.1230038/

cosa cambia da quello che ho scritto io?

 

[Skills07]

cosa cambia da quello che ho scritto io?

La tua risposta era giusta, mica ho criticato la tua risposta...
Critico il fatto che di primo acchito sia stata consigliata una 5070ti e una 5080 quando non servono... O per lo meno possono servire solo in determinati casi.

L'utente appunto da come ha scritto successivamente è un "neofita" che si sta introducendo all'AI...
Tra l'altro usando PHP che è una scelta folle e sbagliata, se vuole implementare qualcosa di AI a livello codice si deve usare python con tutte le librerie LLM che mette a disposizione..

 

[crimescene]

Critico il fatto che di primo acchito sia stata consigliata una 5070ti e una 5080 quando non servono... O per lo meno possono servire solo in determinati casi.

quindi servono

 

[Skills07]

quindi servono

Non nel caso dell'utente, che penso che voglia leggere due dati messi in croce con l'ai... per quello basta pure una gtx 970 (come nella demo che ho fatto io che fa cose ben piu complesse di leggere due dati)

 

[crimescene]

Non nel caso dell'utente, che penso che voglia leggere due dati messi in croce con l'ai... per quello basta pure una gtx 970 (come nella demo che ho fatto io che fa cose ben piu complesse di leggere due dati)

nwl primo messaggio l'utente non psecifica nulla a parte l'uso di ollama sui un sistema di fascia alta (7950x + 32GB di RAM ddr5)

E' lòcito pensare che se ha biosogno di un sistema che faccia girare l'AI in locale gli serva qualcosa che faccia girare modelli anche un pò più complessi

E con una scheda senza memoria (almeno in questo ambito) non vai lontano.

L'Ia si basa sui modelli più è grande e complesso il modello più hai bisogno di hardware, se non hai hardware non puoui far girare quel modello.

Puoi certamente fare qualcosa di basico anche con schede di fascia bassa come già detto, ma finiisce lì

 

[master1986]

Ragazzi per favore non fate storie per me, ho capito cosa mi avete consigliato e tutti avete detto cose sagge. Cerco di trarre suggerimento. Ovviamente 1000 euro sono troppi, sto pensando alla 5060ti da 16gb

MSI GeForce RTX 5060 Ti 16G INSPIRE 2X OC Scheda Video - Memoria 16GB (GDDR7), Interfaccia PCI Express Gen 5 x16, Core CUDA 4608 unità, Risoluzione Max. (7680 x 4320) - Zero Frozr, Doppia ventola : Amazon.it: Informatica

MSI GeForce RTX 5060 Ti 16G INSPIRE 2X OC Scheda Video - Memoria 16GB (GDDR7), Interfaccia PCI Express Gen 5 x16, Core CUDA 4608 unità, Risoluzione Max. (7680 x 4320) - Zero Frozr, Doppia ventola : Amazon.it: Informatica

www.amazon.it

La 5070ti sempre costa 1000 euro e passa... la differenza è molta? nel mio caso il modello che mi consiglia lo stesso claude è: Qwen 2.5 32B

 

[Skills07]

Dipende tutto da cosa devi fare, e ancora non hai spiegato cosa devi fare!!!

devi creare un chatbot che risponda a tue iniziative?
Devi creare un bot che legge dati e ti da risposta??

SI può sapere cosa devi creare con questa benedetta AI??

 

[jesse83]

nel mio caso il modello che mi consiglia lo stesso claude è: Qwen 2.5 32B

Per far girare quello lì, che ha 32 miliardi di parametri, ti serve almeno la 5090 che ha 32 GB di Vram.

A parte che per scrivere codice qwen ha i modelli qwen-coder, sia 2.5 che 3. io sulla 5070Ti ci faccio girare quello a 14 miliardi di parametri a pelo.

 

[master1986]

Non nel caso dell'utente, che penso che voglia leggere due dati messi in croce con l'ai... per quello basta pure una gtx 970 (come nella demo che ho fatto io che fa cose ben piu complesse di leggere due dati)

ma infatti io sto già facendo con il Ryzen 7950x... ho 32gb di ram e sta viaggiando su quello, con php invio la richiesta http a ollama e mi stampa il risultato in testo (breve analisi di numeri), in italiano ovviamente.

ad esempio per generare un testo di 3 righe commentando l'andamento delle temperature di un ambiente ci sono voluti: Tempo risposta AI: 28481 ms

è ovvio che mettendo una gpu tutto questo si accorcerebbe.