DOMANDA [Budget ~1500€] Server workstation GPU based per ML

barnercart

Nuovo Utente
24
0
Ciao a tutti,
avrei bisogno di qualche consiglio per la build di una workstation che funga da server e che permetta di base una connessione in remoto (quindi non serve neanche che possa essere utilizzata in modalità desktop con monitor ecc. fondamentalmente). In azienda idealmente avremmo bisogno di un un supporto flessibile per installare e utilizzare più GPU (non necessariamente in serie/sli, l'importante è che si possa decidere su quale far girare i vari carichi di lavoro). Nel budget (che è IVA compresa) non è necessario inserire anche la GPU dato che attualmente ne abbiamo una già montabile GEFORCE_RTX_3080_TI_ICHILL (se poi ci rientra ovviamente meglio). Però l'idea è avere qualcosa che ci permetta in futuro di aggiungerne potenzialmente altre. Attualmente abbiamo anche un altro server che però è stato costruito su vertical tower case ed ha più le sembianze di un computer da gaming di fascia alta che un server.

Sopra ci andranno a girare potenzialmente anche istanze virtuali docker e similiari, principalmente task di Machine Learning / AI. Non ho idea se questo possa impattare o meno sulle altre componenti ma immagino che non servano CPU e RAM ad altissime prestazioni. L'estetica è totalmente ininfluente. Le GPU devono avere compatibilità CUDA con OS Linux-based.

Possiamo effettuare la build in autonomia ma se già esistono dei pre-assemblati adatti allo scopo siamo aperti a valutarli.

Vi ringrazio in anticipo per i consigli e sono disponibilissimo a chiarimenti o informazioni ulteriori se necessarie.
 

Skills07

Head of Development
Staff Forum
Utente Èlite
35,447
11,502
CPU
Ryzen 7 5800x
Dissipatore
Deepcool gammax l240 v2
Scheda Madre
Aourus Gigabyte X-470 ultra gaming
HDD
Samsung Evo 850 250gb ,2tb x 2 toshiba P300, 256 Ssd silicon power, Samsung evo plus 1tb nvme
RAM
32 gb G.Skill Tridentz 3200 mhz RGB
GPU
Zotac - RTX 3070 Ti Trinity OC
Monitor
ASUS TUF QHD 165hz IPS, ITEK GCF 165hz IPS QHD, Samsung Curvo 144hz QHD
PSU
Seasonic Focus 650w 80 platinum
Case
Coolermaster h500p
Periferiche
Asus Tuf Wireless
Net
Fibra Tim 100mb
OS
Windows 10 Pro 64 bit
ti serve una macchina che possa stare accesa 24/7 quindi un assemblato non so quanto possa andare bene
 
  • Mi piace
Reazioni: r3dl4nce

mr_loco

quello cattivo
Utente Èlite
29,600
12,059
Ciao a tutti,
avrei bisogno di qualche consiglio per la build di una workstation che funga da server e che permetta di base una connessione in remoto (quindi non serve neanche che possa essere utilizzata in modalità desktop con monitor ecc. fondamentalmente). In azienda idealmente avremmo bisogno di un un supporto flessibile per installare e utilizzare più GPU (non necessariamente in serie/sli, l'importante è che si possa decidere su quale far girare i vari carichi di lavoro). Nel budget (che è IVA compresa) non è necessario inserire anche la GPU dato che attualmente ne abbiamo una già montabile GEFORCE_RTX_3080_TI_ICHILL (se poi ci rientra ovviamente meglio). Però l'idea è avere qualcosa che ci permetta in futuro di aggiungerne potenzialmente altre. Attualmente abbiamo anche un altro server che però è stato costruito su vertical tower case ed ha più le sembianze di un computer da gaming di fascia alta che un server.

Sopra ci andranno a girare potenzialmente anche istanze virtuali docker e similiari, principalmente task di Machine Learning / AI. Non ho idea se questo possa impattare o meno sulle altre componenti ma immagino che non servano CPU e RAM ad altissime prestazioni. L'estetica è totalmente ininfluente. Le GPU devono avere compatibilità CUDA con OS Linux-based.

Possiamo effettuare la build in autonomia ma se già esistono dei pre-assemblati adatti allo scopo siamo aperti a valutarli.

Vi ringrazio in anticipo per i consigli e sono disponibilissimo a chiarimenti o informazioni ulteriori se necessarie.
a te serve un server e non un pc da assemblare o assemblato, ci sono grosse differenze su un "fai da te", ad esempio il quad channel, il supporto a ram ECC, alimentatori ridondanti, più linee PCI per non castrare le gpu
dovreste rivolgervi direttamente a prodotti DELL o lenovo con cpu xeon
 
  • Mi piace
Reazioni: r3dl4nce

barnercart

Nuovo Utente
24
0
a te serve un server e non un pc da assemblare o assemblato, ci sono grosse differenze su un "fai da te", ad esempio il quad channel, il supporto a ram ECC, alimentatori ridondanti, più linee PCI per non castrare le gpu
dovreste rivolgervi direttamente a prodotti DELL o lenovo con cpu xeon
Capisco. Si chiedevo anche per aver meglio un'idea di cosa fosse disponibile attualmente allo stato dell'arte. Sicuramente un serve assemblato autonomamente è un altro paio di maniche. Avreste qualche link/risorsa su questo tipo di prodotti? Magari anche qualche sito valido in europa che possa fornire soluzioni di seconda mano.

Qualcosa da assemblare magari con case orizzontale per avere a disposizione più linee PCI non ha senso per ammortizzare i costi in alternativa?
 

ilfe98

Moderatore
Staff Forum
Utente Èlite
3,052
1,278
CPU
Intel i7 7700K
Dissipatore
Bequiet Dark rock pro 4
Scheda Madre
Msi pc mate z270
HDD
Seagate barracuda 1tb, silicon power NVME 500gb
RAM
Patriot viper steel 3733Mhz
GPU
Inno 3d gtx 1080 herculez design
Monitor
Asus mg279q
PSU
Corsair HX750
Case
Itek lunar 23
Net
Tiscali ftth
OS
windows 10,mint,debian,Arch linux
Sono un po' confuso dal tuo primo messaggio ti serve o no sta gpu?.

Comunque puoi puntare alla serie threadripper di amd.

Se dovete fare Ai e ML la ram è fondamentale, qualsiasi dato sarà in RAM finchè non servirà per train/inferenza. Non conosco architetture che utilizzino solo vram, solo AlexNet(trainata su 2 gpu).

La 3080 è appena passabile, per far qualcosa di serio dovreste puntare sulla serie professional come le a5000 etc.

Nessun problema per l'allocazione di risorse. Ovviamente su linux puoi metterci su slurm e creare delle code con partizioni, definendo chi può usare cosa e quando può usarla(priorità).

Ovviamente anche i dischi hanno il loro impatto, ma dati i costi per degli ssd di fascia alta potete puntare a comprarne solo 1 ed usarlo come scratch.

In ogni caso a seconda del vostro task potreste optare per soluzioni in cloud e/o on demand. Ad esempio nelle mie vicinanze c'è e4 company che farebbe proprio al caso vostro.

P.S. il budget è veramente basso.
 
  • Mi piace
Reazioni: mr_loco

barnercart

Nuovo Utente
24
0
Sono un po' confuso dal tuo primo messaggio ti serve o no sta gpu?.

Comunque puoi puntare alla serie threadripper di amd.

Se dovete fare Ai e ML la ram è fondamentale, qualsiasi dato sarà in RAM finchè non servirà per train/inferenza. Non conosco architetture che utilizzino solo vram, solo AlexNet(trainata su 2 gpu).

La 3080 è appena passabile, per far qualcosa di serio dovreste puntare sulla serie professional come le a5000 etc.

Nessun problema per l'allocazione di risorse. Ovviamente su linux puoi metterci su slurm e creare delle code con partizioni, definendo chi può usare cosa e quando può usarla(priorità).

Ovviamente anche i dischi hanno il loro impatto, ma dati i costi per degli ssd di fascia alta potete puntare a comprarne solo 1 ed usarlo come scratch.

In ogni caso a seconda del vostro task potreste optare per soluzioni in cloud e/o on demand. Ad esempio nelle mie vicinanze c'è e4 company che farebbe proprio al caso vostro.

P.S. il budget è veramente basso.
Sta gpu non ci serve obbligatoriamente perché avremmo appunto la 3080 da poter usare in prima battuta e magari in futuro l'idea era di aggiungerne un'altra con più alte prestazioni. Il budget è commisurato a qualcosa senza GPU inclusa di base. Valuteremmo anche soluzioni ricondizionate sicuramente.
 

ilfe98

Moderatore
Staff Forum
Utente Èlite
3,052
1,278
CPU
Intel i7 7700K
Dissipatore
Bequiet Dark rock pro 4
Scheda Madre
Msi pc mate z270
HDD
Seagate barracuda 1tb, silicon power NVME 500gb
RAM
Patriot viper steel 3733Mhz
GPU
Inno 3d gtx 1080 herculez design
Monitor
Asus mg279q
PSU
Corsair HX750
Case
Itek lunar 23
Net
Tiscali ftth
OS
windows 10,mint,debian,Arch linux
Ok bene, come indicatore di qualcosa da assemblare puoi puntare a ciò che ho detto. Ma siamo davvero fuori budget. Cpu non professional non hanno il supporto al quad channel e alcune avx sono molto lente.
Solo il processore si consuma più del vostro budget.
Davvero non sono possibili soluzioni in cloud? se utilizzate a dovere sono molto convenienti
 

barnercart

Nuovo Utente
24
0
Ok bene, come indicatore di qualcosa da assemblare puoi puntare a ciò che ho detto. Ma siamo davvero fuori budget. Cpu non professional non hanno il supporto al quad channel e alcune avx sono molto lente.
Solo il processore si consuma più del vostro budget.
Davvero non sono possibili soluzioni in cloud? se utilizzate a dovere sono molto convenienti
Preferiremmo evitare e avere qualcosa direttamente in azienda. Che budget servirebbe per avere qualcosa ti utilizzabile magari sfruttando per ora la GPU che già abbiamo? Se riuscissi a farmi un esempio con la componentistica te ne sarei davvero grato. Come dicevo poi possiamo anche valutare qualche soluzione preassemblata ricondizionata se esistesse qualcosa.
 

ilfe98

Moderatore
Staff Forum
Utente Èlite
3,052
1,278
CPU
Intel i7 7700K
Dissipatore
Bequiet Dark rock pro 4
Scheda Madre
Msi pc mate z270
HDD
Seagate barracuda 1tb, silicon power NVME 500gb
RAM
Patriot viper steel 3733Mhz
GPU
Inno 3d gtx 1080 herculez design
Monitor
Asus mg279q
PSU
Corsair HX750
Case
Itek lunar 23
Net
Tiscali ftth
OS
windows 10,mint,debian,Arch linux
Mi servirebbe comprendere cosa si intende per ai. Avrei bisogno di qualche esempio concreto e del target
 

ilfe98

Moderatore
Staff Forum
Utente Èlite
3,052
1,278
CPU
Intel i7 7700K
Dissipatore
Bequiet Dark rock pro 4
Scheda Madre
Msi pc mate z270
HDD
Seagate barracuda 1tb, silicon power NVME 500gb
RAM
Patriot viper steel 3733Mhz
GPU
Inno 3d gtx 1080 herculez design
Monitor
Asus mg279q
PSU
Corsair HX750
Case
Itek lunar 23
Net
Tiscali ftth
OS
windows 10,mint,debian,Arch linux
Mi dicono dalla regia:
  1. Machine learning con PyTorch o Tensorflow
  2. TensorRT
  3. Onnx
1 e 2 ok. Per onnx serve comunque una buona cpu abbinata a delle ottime ram, altrimenti le ottimizzazioni per l’’inferenza vanno a farsi benedire.

Comunque anche qui può essere tutto e niente sono framework.

Potresti usare torch per fare un mlp o una convnet a 2 layer oppure fare un transformers con 10k head etc.

Il minimo sono grossomodo threadripper 7000x (1200€+)
Una Mobo professional(800€+)
Un ssd da un paio di tb (500€+)
Psu(200€)
Ram(300€+)
Gpu (con una a5000 spendi 2/3k)
 

Entra

oppure Accedi utilizzando
Discord Ufficiale Entra ora!

Discussioni Simili