Workstation per AI (no gaming, no ufficio) basata su Nvidia RTX PRO 6000

Pubblicità
M

monticelli

Utente Attivo
Messaggi
77
Reazioni
10
Punteggio
38
Ciao a tutti,
per il centro in cui lavoro stiamo valutando di acquisire una workstation espressamente pensata per l'AI (incluso il training), basata sulla GPU RTX PRO 6000 di Nvidia, con 96 GB VRAM. Le altre componenti dovrebbero essere nella stessa categoria, per produrre una workstation ben bilanciata.
La WS dovrà girare principalmente con Linux Ubuntu e occasionalmente con Windows 11 per alcuni software commerciali per il postprocessing di dataset di grande scala provenienti da droni.
Avrei in mente una configurazione di questo tipo, mi potreste dire per favore se ha senso e aiutarmi a fissare le componenti mancanti?
Sapete suggerirmi, in alternativa, soluzioni già assemblate?

GPU: Nvidia RTX PRO 6000 Blackwell Workstation Edition 96 GB GDDR7, con la possibiltà di espandere in futuro includendo una seconda GPU identica
CPU: Amd Ryzen Threadripper Pro 9955WX
Motherboard: ???
RAM: ??? Deve essere una RAM prestazionale, almeno 192 GB, meglio se 256 GB, sarebbe gradita la possibiltà di espandere in futuro a 512 GB
SSD: 8 TB NVMe, con la possibiltà di espandere in futuro includendo un secondo SSD. Vale ancora l'idea di prevedere un SSD più piccolo dedicato esclusivamente agli OS?
PSU: 1600–2000 W Platinum? Anche in previsione delle espansioni future. Tenete presente che 1 GPU da sola può arrivare a 600W e il Threadripper a 350W...
Case e raffreddamento: ??? La WS sarà probabilmente collocata in computer room, che ha un sistema di climatizzazione dedicato e temperature controllate anche in estate. Il fattore di forma (tower, modulo da rack, etc non è importante)

Grazie anticipatamente
 
monticelli ha detto:
Vale ancora l'idea di prevedere un SSD più piccolo dedicato esclusivamente agli OS?
Clicca per espandere...
Assolutamente no

Esistono le partizioni apposta, si fa una partizione primaria da 100-200gb e via, così se bisogna formattare e reinstallare, si formatta solo quella partizione e tutto il resto del drive resta intatto


monticelli ha detto:
Motherboard: ???
Clicca per espandere...
Asus serie Pro, con il socket sTR5

Quelle più "economiche" hanno 4 slot RAM, quelle più costose ne hanno 8
Visto che i banchi RAM ddr5 esistono anche da 128gb l' uno, con 4 slot RAM arrivi a 512gb di RAM
Quindi la cosa più logica sarebbe fare 128 + 128 oggi e aggiungere altri 2 banchi da 128 quando avrai bisogno di 512gb

Ovviamente la RAM ddr5 ha attualmente prezzi disumani


Per l' SSD ci sarebbe il Samsung 9100 pro da 8tb


monticelli ha detto:
Il fattore di forma (tower, modulo da rack, etc non è importante)
Clicca per espandere...
Beh presumo che un full tower sia più indicato, quelli per le schede madri E ATX per capirci

Per il dissipatore, beh solitamente quei PC li usano dissipatori ad aria per una questione di affidabilità
 
Ci vogliono memorie ECC con quella piattaforma:

ASUS PRO WS TRX50-SAGE WIFI A, AMD Motherboard, AMD sTR5 Socket for CPU up to 96 Core, 36 Power Stages, DDR5 ECC R-DIMM Slot, Three M.2 Slots, Three PCIe 5.0 Slots, USB-C 20 Gbps, Black : Amazon.it: Computers

ASUS PRO WS TRX50-SAGE WIFI A, AMD Motherboard, AMD sTR5 Socket for CPU up to 96 Core, 36 Power Stages, DDR5 ECC R-DIMM Slot, Three M.2 Slots, Three PCIe 5.0 Slots, USB-C 20 Gbps, Black : Amazon.it: Computers
www.amazon.it
Versione più carrozzata con supporto multi GPU

ASUS Pro WS TRX50-SAGE WIFI AMD TRX50 CEB Scheda Madre Workstation AMD, PCIe 5.0 x 16, PCIe 5.0 M.2, LAN da 10 Gb e 2,5 Gb, CPU e Memoria per Overclock, supporto multi-GPU, Nero : Amazon.it: Informatica

ASUS Pro WS TRX50-SAGE WIFI AMD TRX50 CEB Scheda Madre Workstation AMD, PCIe 5.0 x 16, PCIe 5.0 M.2, LAN da 10 Gb e 2,5 Gb, CPU e Memoria per Overclock, supporto multi-GPU, Nero : Amazon.it: Informatica
www.amazon.it
Memoria in kit quad channel

CORSAIR WS DDR5 ECC RDIMM 64GB (4x16GB) 5600MHz CL40 AMD EXPO Intel XMP 3.0 Memoria per Workstation - Nero (CMA64GX5M4B5600Z40) : Amazon.it: Informatica

CORSAIR WS DDR5 ECC RDIMM 64GB (4x16GB) 5600MHz CL40 AMD EXPO Intel XMP 3.0 Memoria per Workstation - Nero (CMA64GX5M4B5600Z40) : Amazon.it: Informatica
www.amazon.it
 
Ultima modifica:
Ultima modifica da un moderatore:
@monticelli consiglio spassionato: a mio parere col mercato che c'è adesso non è proprio il momento di farsi un PC di qualsiasi genere, anche ad avere tutta la disponibilità economica del mondo, si va a pagare dieci volte tanto il valore delle cose. Secondo me vi costa meno noleggiare un server ai remoto per ora.
 
jesse83 ha detto:
@monticelli consiglio spassionato: a mio parere col mercato che c'è adesso non è proprio il momento di farsi un PC di qualsiasi genere, anche ad avere tutta la disponibilità economica del mondo, si va a pagare dieci volte tanto il valore delle cose. Secondo me vi costa meno noleggiare un server ai remoto per ora.
Clicca per espandere...
Eh, Jesse, capisco cosa vuoi dire.
Il problema è che stiamo facendo domanda per il finanziamento di un progetto di ricerca, e se lo accettano dovremo svolgere un programma di lavoro che prevede l'uso intensivo di modelli deep learning per la computer vision e andrà ultimato in tempi ben definiti.
In azienda abbiamo un cluster di calcolo per l'AI ma sta diventando sempre più affollato: a volte sottometti un job nella coda di calcolo e ti tocca aspettare due giorni prima che parta :-(
Noleggiare un server AI remoto secondo me va bene per compiti di produzione ma per la ricerca lo vedo meno adatto, dovendo continuamente fare prove, installazione/rimozione di SW e librerie, modifiche dell'ambiente di sviluppo, compilazioni di codice, test di modelli deep learning che magari interrompi a metà perché non convergono come vorresti, etc.
 
monticelli ha detto:
Eh, Jesse, capisco cosa vuoi dire.
Il problema è che stiamo facendo domanda per il finanziamento di un progetto di ricerca, e se lo accettano dovremo svolgere un programma di lavoro che prevede l'uso intensivo di modelli deep learning per la computer vision e andrà ultimato in tempi ben definiti.
In azienda abbiamo un cluster di calcolo per l'AI ma sta diventando sempre più affollato: a volte sottometti un job nella coda di calcolo e ti tocca aspettare due giorni prima che parta :-(
Noleggiare un server AI remoto secondo me va bene per compiti di produzione ma per la ricerca lo vedo meno adatto, dovendo continuamente fare prove, installazione/rimozione di SW e librerie, modifiche dell'ambiente di sviluppo, compilazioni di codice, test di modelli deep learning che magari interrompi a metà perché non convergono come vorresti, etc.
Clicca per espandere...
Non hai risposto se hai o meno già la CPU e la GPU perchè forse una soluzione c'è se devi acquistare tutto. Altra discriminante è il software utilizzato
 
Kelion ha detto:
Ma la CPU e GPU li hai già?
Clicca per espandere...
No, no, non ho niente: devo inserire tutto nel budget della richiesta che sto preparando. Per dirla tutta, più che la lista esatta delle componenti mi servono un'indicazione abbastanza precisa del costo della workstation e la disponibilità del materiale (devo stare attento a non inserire cose che magari sono gia' difficili da acquistare e nei prossimi mesi diventeranno introvabili). Devo anche necessariamente usare fornitori "ufficiali" e affidabili: no ebay, utenti privati, siti di e-commerce sconosciuti, etc, anche se avessero prezzi particolarmente favorevoli.
Il punto fermo è la GPU come elemento centrale attorno a cui costruire tutto, non tanto come processore grafico (cosa di cui mi interessa relativamente) ma come acceleratore per il training e l'inferenza di modelli AI. Deve avere 96 GB di VRAM, altrimenti tanto vale ripiegare su una comune 5090 (che comunque vedo che ha praticamente raddoppiato il suo prezzo ☹️).
 
monticelli ha detto:
No, no, non ho niente: devo inserire tutto nel budget della richiesta che sto preparando. Per dirla tutta, più che la lista esatta delle componenti mi servono un'indicazione abbastanza precisa del costo della workstation e la disponibilità del materiale (devo stare attento a non inserire cose che magari sono gia' difficili da acquistare e nei prossimi mesi diventeranno introvabili). Devo anche necessariamente usare fornitori "ufficiali" e affidabili: no ebay, utenti privati, siti di e-commerce sconosciuti, etc, anche se avessero prezzi particolarmente favorevoli.
Il punto fermo è la GPU come elemento centrale attorno a cui costruire tutto, non tanto come processore grafico (cosa di cui mi interessa relativamente) ma come acceleratore per il training e l'inferenza di modelli AI. Deve avere 96 GB di VRAM, altrimenti tanto vale ripiegare su una comune 5090 (che comunque vedo che ha praticamente raddoppiato il suo prezzo ☹️).
Clicca per espandere...
Allora. Se devi acquistare tutto allora vai qui e configurati il server che vuoi direttamente dal produttore. Il negozio online è in Olanda e quindi garanzia europea piena. L'assistenza è fornita in Italia dal distributore italiano dove pure potresti rivolgerti per l'acquisto ma i prezzi sono più alti:

Supermicro eStore Europe

Shop and configure the latest Supermicro servers, our solutions include for Data Center, Cloud, Workstation, IOT, etc., designed to meet your business needs.
store.supermicro.com store.supermicro.com
Cerca tra i GPU server con due schede video RTX 6000 PRO con 96GB di VRAM e 2 CPU Intel® Xeon® 6960P Processor 72-Core vi togliete il pensiero con meno di 60000 euro di budget. Naturalmente se il budget è minore ci sono altre soluzioni
 
Ultima modifica:
Kelion ha detto:
Altra discriminante è il software utilizzato
Clicca per espandere...
Per la maggior parte del tempo la WS dovrebbe girare con Ubuntu per fare i classici test di ricerca e sviluppo nell'AI per la computer vision, senza usare software "black box".
Quello che fai tipicamente è mettere assieme un dataset di immagini/video (il più delle volte sono dataset di grande scala, servono SSD capienti e veloci); poi prendi un modello deep learning esistente e lo modifichi secondo le tue esigenze; poi fai un run di addestramento; poi lo metti alla prova su un dataset di test; il piu' delle volte il risultato non ti piace e riparti da capo, cambiando modello DL o modificando quello esistente, finchè non arrivi ad un risultato che reputi soddisfacente.
Allora alzi l'asticella e provi a fare qualcosa di piu' complicato e ripeti tutto il workflow. Ad ogni passaggio le cose si complicano e le prove richiedono piu' tempo. Per questo motivo avere una GPU veloce, in grado di immagazzinare in memoria tutto il modello DL puo' farti risparmiare un'infinità di tempo o addirittura fare la differenza tra riuscire a portare a termine un progetto o no.
 
Grazie Kelion, il sito di supermicro è interessante e sto gia' facendo delle simulazioni.
All'inizio vorrei partire con 1 GPU e 1 CPU, lasciando la porta aperta ad eventuali upgrade in futuro.
Come mai consigli Intel Xeon invece di AMD Threadripper?
 
Pubblicità
Pubblicità
Indietro
Top