DOMANDA Ci sono speranze che le GPU AMD migliorino con i modelli generativi AI?

[Warmuser]

Ho assemblato da alcuni mesi una configurazione i7-14700k per lavorare localmente con modelli AI quali Stable Diffusion, ComfyUI, Fooocus, LoRA, etc.. Dato che personalmente ricevo molte richieste di incarico per elaborazioni grafiche da parte di privati ed aziende. Ed una buona metà di queste richieste mi tocca declinarle, perché effettivamente non dispongo di sufficiente potenza di calcolo sulla mia attuale postazione. Motivo per cui il più delle volte mi tocca affidarmi a servizi online a pagamento.. oltre che ingegnarmi per eventuale lavoro "extra" solo per coprire le carenze dovute ad una particolare carenza di opzioni (uso alcune ai a pagamento, anziché poter spaziare fra vari modelli e ciò per me è un grosso limite).

Avevo pensato di acquistare una RX 7900 XTX ed eseguire localmente i vari modelli AI beneficiando di Zluda.. soluzione che purtroppo è stata prontamente ostacolata da Nvidia dato che sono corsi ai ripari.. Mentre da quello che ho trovato in rete, nonostante comunque esista la possibilità di eseguire modelli AI con driver ROCm, sembra comunque che le GPU invidia non offrano prestazioni particolarmente eccelse rispetto alla controparte.. Dalle ultime Benchmarks evince che le GPU AMD performino molto male, piazzandosi circa la metà rispetto alla concorrenza. Eppure ci sono schede come la RX 7900 XTX che veramente è un ottima scheda, con ottime prestazioni..

D'altra parte acquistare una 4080 oramai significa vedersi maggiorare il prezzo di almeno 200 euro rispetto a quello di due settimane fa. Il che è un vero svantaggio visto che ci si fa la cresta su un prodotto che ipoteticamente dovrebbe costare meno ora che è subentrato il modello successivo. Questa cosa sta diventando un vero problema.. Anno dopo anno le GPU si fanno sempre più caristose! Solo una questione di supporto?

 

[BAT]

una buona metà di queste richieste mi tocca declinarle, perché effettivamente non dispongo di sufficiente potenza di calcolo sulla mia attuale postazione

NVIDIA Project DIGITS: The World’s Smallest AI Supercomputer.

Reserve yours today.

www.nvidia.com

 

[crimescene]

Ho assemblato da alcuni mesi una configurazione i7-14700k per lavorare localmente con modelli AI quali Stable Diffusion, ComfyUI, Fooocus, LoRA, etc.. Dato che personalmente ricevo molte richieste di incarico per elaborazioni grafiche da parte di privati ed aziende. Ed una buona metà di queste richieste mi tocca declinarle, perché effettivamente non dispongo di sufficiente potenza di calcolo sulla mia attuale postazione. Motivo per cui il più delle volte mi tocca affidarmi a servizi online a pagamento.. oltre che ingegnarmi per eventuale lavoro "extra" solo per coprire le carenze dovute ad una particolare carenza di opzioni (uso alcune ai a pagamento, anziché poter spaziare fra vari modelli e ciò per me è un grosso limite).

Avevo pensato di acquistare una RX 7900 XTX ed eseguire localmente i vari modelli AI beneficiando di Zluda.. soluzione che purtroppo è stata prontamente ostacolata da Nvidia dato che sono corsi ai ripari.. Mentre da quello che ho trovato in rete, nonostante comunque esista la possibilità di eseguire modelli AI con driver ROCm, sembra comunque che le GPU invidia non offrano prestazioni particolarmente eccelse rispetto alla controparte.. Dalle ultime Benchmarks evince che le GPU AMD performino molto male, piazzandosi circa la metà rispetto alla concorrenza. Eppure ci sono schede come la RX 7900 XTX che veramente è un ottima scheda, con ottime prestazioni..

D'altra parte acquistare una 4080 oramai significa vedersi maggiorare il prezzo di almeno 200 euro rispetto a quello di due settimane fa. Il che è un vero svantaggio visto che ci si fa la cresta su un prodotto che ipoteticamente dovrebbe costare meno ora che è subentrato il modello successivo. Questa cosa sta diventando un vero problema.. Anno dopo anno le GPU si fanno sempre più caristose! Solo una questione di supporto?

Nvidia è l'unia soluzione, il punto è che adesso è un pessimo periodo in quanto a cavallo con il lancio della nuova serie

Devi solo aspettare le 4080 è normale che salgono di prezzo perchè da mesi è finita la produzione, e la diffusione delle 5080 non è ancora abbastanza alta e come sempre fenomeno di scalping.

Tutto questo però finirà a breve e si potranno trovare 5080 non appena ci saranno dei restock sostanziosi a mio avviso non passerà molto (al massimo un mese o due) e schede come le 5080 si troveranno a prezzi più bassi e piuttosto facilmente

 

[mr_loco]

Ho assemblato da alcuni mesi una configurazione i7-14700k per lavorare localmente con modelli AI quali Stable Diffusion, ComfyUI, Fooocus, LoRA, etc.. Dato che personalmente ricevo molte richieste di incarico per elaborazioni grafiche da parte di privati ed aziende. Ed una buona metà di queste richieste mi tocca declinarle, perché effettivamente non dispongo di sufficiente potenza di calcolo sulla mia attuale postazione. Motivo per cui il più delle volte mi tocca affidarmi a servizi online a pagamento.. oltre che ingegnarmi per eventuale lavoro "extra" solo per coprire le carenze dovute ad una particolare carenza di opzioni (uso alcune ai a pagamento, anziché poter spaziare fra vari modelli e ciò per me è un grosso limite).

Avevo pensato di acquistare una RX 7900 XTX ed eseguire localmente i vari modelli AI beneficiando di Zluda.. soluzione che purtroppo è stata prontamente ostacolata da Nvidia dato che sono corsi ai ripari.. Mentre da quello che ho trovato in rete, nonostante comunque esista la possibilità di eseguire modelli AI con driver ROCm, sembra comunque che le GPU invidia non offrano prestazioni particolarmente eccelse rispetto alla controparte.. Dalle ultime Benchmarks evince che le GPU AMD performino molto male, piazzandosi circa la metà rispetto alla concorrenza. Eppure ci sono schede come la RX 7900 XTX che veramente è un ottima scheda, con ottime prestazioni..

D'altra parte acquistare una 4080 oramai significa vedersi maggiorare il prezzo di almeno 200 euro rispetto a quello di due settimane fa. Il che è un vero svantaggio visto che ci si fa la cresta su un prodotto che ipoteticamente dovrebbe costare meno ora che è subentrato il modello successivo. Questa cosa sta diventando un vero problema.. Anno dopo anno le GPU si fanno sempre più caristose! Solo una questione di supporto?

AMD non sa fare altro oltre che l'hardware, quando si va per il software, se ne frega meno di zero se non ci guadagna e non ci perde, purtroppo per quei programmi non c'è un minimo di supporto attivo, anche se hanno garantito che la serie 9000 avrà maggiori prestazioni in ambito IA, se non c'è una mezza libreria che le sfrutti, la situazione non cambierà mai
migliorerà in futuro? possibile, ma ci credo poco, già in passato poteva fare molto in ambito produttivo, quando nvidia rilasciò le prime API per sfruttare i cuda core con programmi di grafica (pre IA), la risposta di AMD è stata "questo è il codice, fate voi", per tutti gli smanettoni è stata una manna dal cielo, infatti i driver di AMD sono ottimi su linux, ma un azienda come adobe, che paga miliardi ai programmatori, non ha voglia di spendere altri soldi per fare un lavoro che avrebbe dovuto fare AMD, molto più semplice integrare le API di nvidia e far macinare tutto ai cuda core, ed ora ti ritrovi con una 4060 che ti crea l'intero background in photoshop e una 7900XT che ti fa andare a scatti la time line dei video

se vuoi prendere una gpu AMD, nessuno te lo vieta, ricordo che su fooocus e comfyUI c'è lo script per avviarli su schede radeon, sinceramente non so come vanno e non ho trovato test a riguardo

cerca online qualche server cloud in affitto che offrano una buona potenza di calcolo lato gpu, colab di google (quello gratuito), ha una gpu con prestazioni al pari di una 4060