DOMANDA [Budget ~1500€] Server workstation GPU based per ML

[barnercart]

Ciao a tutti,
avrei bisogno di qualche consiglio per la build di una workstation che funga da server e che permetta di base una connessione in remoto (quindi non serve neanche che possa essere utilizzata in modalità desktop con monitor ecc. fondamentalmente). In azienda idealmente avremmo bisogno di un un supporto flessibile per installare e utilizzare più GPU (non necessariamente in serie/sli, l'importante è che si possa decidere su quale far girare i vari carichi di lavoro). Nel budget (che è IVA compresa) non è necessario inserire anche la GPU dato che attualmente ne abbiamo una già montabile GEFORCE_RTX_3080_TI_ICHILL (se poi ci rientra ovviamente meglio). Però l'idea è avere qualcosa che ci permetta in futuro di aggiungerne potenzialmente altre. Attualmente abbiamo anche un altro server che però è stato costruito su vertical tower case ed ha più le sembianze di un computer da gaming di fascia alta che un server.

Sopra ci andranno a girare potenzialmente anche istanze virtuali docker e similiari, principalmente task di Machine Learning / AI. Non ho idea se questo possa impattare o meno sulle altre componenti ma immagino che non servano CPU e RAM ad altissime prestazioni. L'estetica è totalmente ininfluente. Le GPU devono avere compatibilità CUDA con OS Linux-based.

Possiamo effettuare la build in autonomia ma se già esistono dei pre-assemblati adatti allo scopo siamo aperti a valutarli.

Vi ringrazio in anticipo per i consigli e sono disponibilissimo a chiarimenti o informazioni ulteriori se necessarie.

 

[Skills07]

ti serve una macchina che possa stare accesa 24/7 quindi un assemblato non so quanto possa andare bene

 

[mr_loco]

Ciao a tutti,
avrei bisogno di qualche consiglio per la build di una workstation che funga da server e che permetta di base una connessione in remoto (quindi non serve neanche che possa essere utilizzata in modalità desktop con monitor ecc. fondamentalmente). In azienda idealmente avremmo bisogno di un un supporto flessibile per installare e utilizzare più GPU (non necessariamente in serie/sli, l'importante è che si possa decidere su quale far girare i vari carichi di lavoro). Nel budget (che è IVA compresa) non è necessario inserire anche la GPU dato che attualmente ne abbiamo una già montabile GEFORCE_RTX_3080_TI_ICHILL (se poi ci rientra ovviamente meglio). Però l'idea è avere qualcosa che ci permetta in futuro di aggiungerne potenzialmente altre. Attualmente abbiamo anche un altro server che però è stato costruito su vertical tower case ed ha più le sembianze di un computer da gaming di fascia alta che un server.

Sopra ci andranno a girare potenzialmente anche istanze virtuali docker e similiari, principalmente task di Machine Learning / AI. Non ho idea se questo possa impattare o meno sulle altre componenti ma immagino che non servano CPU e RAM ad altissime prestazioni. L'estetica è totalmente ininfluente. Le GPU devono avere compatibilità CUDA con OS Linux-based.

Possiamo effettuare la build in autonomia ma se già esistono dei pre-assemblati adatti allo scopo siamo aperti a valutarli.

Vi ringrazio in anticipo per i consigli e sono disponibilissimo a chiarimenti o informazioni ulteriori se necessarie.

a te serve un server e non un pc da assemblare o assemblato, ci sono grosse differenze su un "fai da te", ad esempio il quad channel, il supporto a ram ECC, alimentatori ridondanti, più linee PCI per non castrare le gpu
dovreste rivolgervi direttamente a prodotti DELL o lenovo con cpu xeon

 

[barnercart]

a te serve un server e non un pc da assemblare o assemblato, ci sono grosse differenze su un "fai da te", ad esempio il quad channel, il supporto a ram ECC, alimentatori ridondanti, più linee PCI per non castrare le gpu
dovreste rivolgervi direttamente a prodotti DELL o lenovo con cpu xeon

Capisco. Si chiedevo anche per aver meglio un'idea di cosa fosse disponibile attualmente allo stato dell'arte. Sicuramente un serve assemblato autonomamente è un altro paio di maniche. Avreste qualche link/risorsa su questo tipo di prodotti? Magari anche qualche sito valido in europa che possa fornire soluzioni di seconda mano.

Qualcosa da assemblare magari con case orizzontale per avere a disposizione più linee PCI non ha senso per ammortizzare i costi in alternativa?

 

[mr_loco]

Qualcosa da assemblare magari con case orizzontale per avere a disposizione più linee PCI non ha senso per ammortizzare i costi in alternativa?

@Kelion sapeva un sito tedesco con molti server ricondizionati, avevo salvato il link ma non lo trovo

di che budget parliamo?

 

[ilfe98]

Sono un po' confuso dal tuo primo messaggio ti serve o no sta gpu?.

Comunque puoi puntare alla serie threadripper di amd.

Se dovete fare Ai e ML la ram è fondamentale, qualsiasi dato sarà in RAM finchè non servirà per train/inferenza. Non conosco architetture che utilizzino solo vram, solo AlexNet(trainata su 2 gpu).

La 3080 è appena passabile, per far qualcosa di serio dovreste puntare sulla serie professional come le a5000 etc.

Nessun problema per l'allocazione di risorse. Ovviamente su linux puoi metterci su slurm e creare delle code con partizioni, definendo chi può usare cosa e quando può usarla(priorità).

Ovviamente anche i dischi hanno il loro impatto, ma dati i costi per degli ssd di fascia alta potete puntare a comprarne solo 1 ed usarlo come scratch.

In ogni caso a seconda del vostro task potreste optare per soluzioni in cloud e/o on demand. Ad esempio nelle mie vicinanze c'è e4 company che farebbe proprio al caso vostro.

P.S. il budget è veramente basso.

 

[barnercart]

Sono un po' confuso dal tuo primo messaggio ti serve o no sta gpu?.

Comunque puoi puntare alla serie threadripper di amd.

Se dovete fare Ai e ML la ram è fondamentale, qualsiasi dato sarà in RAM finchè non servirà per train/inferenza. Non conosco architetture che utilizzino solo vram, solo AlexNet(trainata su 2 gpu).

La 3080 è appena passabile, per far qualcosa di serio dovreste puntare sulla serie professional come le a5000 etc.

Nessun problema per l'allocazione di risorse. Ovviamente su linux puoi metterci su slurm e creare delle code con partizioni, definendo chi può usare cosa e quando può usarla(priorità).

Ovviamente anche i dischi hanno il loro impatto, ma dati i costi per degli ssd di fascia alta potete puntare a comprarne solo 1 ed usarlo come scratch.

In ogni caso a seconda del vostro task potreste optare per soluzioni in cloud e/o on demand. Ad esempio nelle mie vicinanze c'è e4 company che farebbe proprio al caso vostro.

P.S. il budget è veramente basso.

Sta gpu non ci serve obbligatoriamente perché avremmo appunto la 3080 da poter usare in prima battuta e magari in futuro l'idea era di aggiungerne un'altra con più alte prestazioni. Il budget è commisurato a qualcosa senza GPU inclusa di base. Valuteremmo anche soluzioni ricondizionate sicuramente.

 

[ilfe98]

Ok bene, come indicatore di qualcosa da assemblare puoi puntare a ciò che ho detto. Ma siamo davvero fuori budget. Cpu non professional non hanno il supporto al quad channel e alcune avx sono molto lente.
Solo il processore si consuma più del vostro budget.
Davvero non sono possibili soluzioni in cloud? se utilizzate a dovere sono molto convenienti

 

[barnercart]

Ok bene, come indicatore di qualcosa da assemblare puoi puntare a ciò che ho detto. Ma siamo davvero fuori budget. Cpu non professional non hanno il supporto al quad channel e alcune avx sono molto lente.
Solo il processore si consuma più del vostro budget.
Davvero non sono possibili soluzioni in cloud? se utilizzate a dovere sono molto convenienti

Preferiremmo evitare e avere qualcosa direttamente in azienda. Che budget servirebbe per avere qualcosa ti utilizzabile magari sfruttando per ora la GPU che già abbiamo? Se riuscissi a farmi un esempio con la componentistica te ne sarei davvero grato. Come dicevo poi possiamo anche valutare qualche soluzione preassemblata ricondizionata se esistesse qualcosa.

 

[ilfe98]

Mi servirebbe comprendere cosa si intende per ai. Avrei bisogno di qualche esempio concreto e del target

 

[barnercart]

Mi servirebbe comprendere cosa si intende per ai. Avrei bisogno di qualche esempio concreto e del target

Mi dicono dalla regia:

1. Machine learning con PyTorch o Tensorflow
2. TensorRT
3. Onnx

 

[ilfe98]

Mi dicono dalla regia:

1. Machine learning con PyTorch o Tensorflow
2. TensorRT
3. Onnx

1 e 2 ok. Per onnx serve comunque una buona cpu abbinata a delle ottime ram, altrimenti le ottimizzazioni per l’’inferenza vanno a farsi benedire.

Comunque anche qui può essere tutto e niente sono framework.

Potresti usare torch per fare un mlp o una convnet a 2 layer oppure fare un transformers con 10k head etc.

Il minimo sono grossomodo threadripper 7000x (1200€+)
Una Mobo professional(800€+)
Un ssd da un paio di tb (500€+)
Psu(200€)
Ram(300€+)
Gpu (con una a5000 spendi 2/3k)