General Purpose Workstation

[Andhryss]

Salve a tutti. Sono un dottorando in ingegneria informatica e attualmente ho a disposizione due server che ho ereditato.
Ho messo su proxmox e il mio uso è principalmente quello di un home lab: test di flavour kubernetes, deploy di applicazioni on top of k8s (airflow, minio e testbed) e benchmarking.

Ultimamente pero' sto cercando di integrare la mia ricerca con AI ma ho notato che le macchine non supportano AVX, richiesto dalla maggior parte delle librerie (Tensorflow, Keras .. ).

Le macchine che ho a disposizione sono queste supermicro 8027R-TRF+. Ho la possibilità di accedere ad un budget non ancora definito ma che oscilla tra 2000 e 5000 euro da destinare all'acquisto di componenti hw (non utilizzabili su servizi, solo acquisto). Dato che non sono per niente ferrato in materia (ma mi piacerebbe farmi una cultura a riguardo), vorrei chiedere consiglio per una possibile soluzione. Non so se è possibile integrare su quelle macchine una GPU e se si può quindi sopperire al problema della compatibilità delle applicazioni o se sarebbe meglio acquistare un'ulteriore workstation più aggiornata e compatibile al mio utilizzo, che a questo punto definirei general purpose. In extremis, se dovessi avere budget minimo potrei valutare l'acquisto di una GPU per il mio desktop ma non so quanto possa essere proficuo e preferirei evitare a prescindere

Grazie!

 

[Kelion]

Salve a tutti. Sono un dottorando in ingegneria informatica e attualmente ho a disposizione due server che ho ereditato.
Ho messo su proxmox e il mio uso è principalmente quello di un home lab: test di flavour kubernetes, deploy di applicazioni on top of k8s (airflow, minio e testbed) e benchmarking.

Ultimamente pero' sto cercando di integrare la mia ricerca con AI ma ho notato che le macchine non supportano AVX, richiesto dalla maggior parte delle librerie (Tensorflow, Keras .. ).

Le macchine che ho a disposizione sono queste supermicro 8027R-TRF+. Ho la possibilità di accedere ad un budget non ancora definito ma che oscilla tra 2000 e 5000 euro da destinare all'acquisto di componenti hw (non utilizzabili su servizi, solo acquisto). Dato che non sono per niente ferrato in materia (ma mi piacerebbe farmi una cultura a riguardo), vorrei chiedere consiglio per una possibile soluzione. Non so se è possibile integrare su quelle macchine una GPU e se si può quindi sopperire al problema della compatibilità delle applicazioni o se sarebbe meglio acquistare un'ulteriore workstation più aggiornata e compatibile al mio utilizzo, che a questo punto definirei general purpose. In extremis, se dovessi avere budget minimo potrei valutare l'acquisto di una GPU per il mio desktop ma non so quanto possa essere proficuo e preferirei evitare a prescindere

Grazie!

Che Xeon montano? Serie 4600 mi pare ma quali esattamente e quanti ciascuno visto che ciascuna scheda madre dovrebbe supportarne 4

 

[Andhryss]

Che Xeon montano? Serie 4600 mi pare ma quali esattamente e quanti ciascuno visto che ciascuna scheda madre dovrebbe supportarne 4

Ciao, grazie per l'interesse

Intel® Xeon® Processor E5-4610 v2

lscpu termbin per maggiori dettagli se puo essere utile
EDIT: per il problema AVX credo di aver risolto. da log termbin cpu host sembra supportare flag avx. Sulle vm non riesco a vedere gli stessi flag perchè probabilmente virtualizza con cpu kvm64. Probabilmente sfruttando l'opzione "host" dovrei riprodurre la cpu della macchina fisica sulla VM. La domanda resta comunque valida se con quel budget posso fare improvement del server integrando una GPU o se esistono workstation più aggiornate e adatte per lavorare con AI

 

[Kelion]

Ciao, grazie per l'interesse

Intel® Xeon® Processor E5-4610 v2

lscpu termbin per maggiori dettagli se puo essere utile
EDIT: per il problema AVX credo di aver risolto. da log termbin cpu host sembra supportare flag avx. Sulle vm non riesco a vedere gli stessi flag perchè probabilmente virtualizza con cpu kvm64. Probabilmente sfruttando l'opzione "host" dovrei riprodurre la cpu della macchina fisica sulla VM. La domanda resta comunque valida se con quel budget posso fare improvement del server integrando una GPU o se esistono workstation più aggiornate e adatte per lavorare con AI

Era per quello che ti chiedevo che CPU avesse perchè le AVX sono implementate da tempo su tutte le CPU Intel sono le AVX2 che sono state introdotte più recentemente con gli Haswell. Quindi non è un problema di CPU perchè le AVX sono pienamente supportate. Installando delle GPU da server tipo Tesla ad esempio che puoi trovare a poco prezzo vai di calcolo parallelo GPU con Tensor flow GPU ad esempio. Tieni presente che le prestazioni di queste schede prendi ad esempio la M40 sono meno di una 3060 ma hanno parecchia VRAM (24GB) quindi devi valutare se fanno al caso tuo. Comunque ne puoi installare più di una e gestirle bene:

Multi-GPU and distributed training | TensorFlow Core

Guide to multi-GPU & distributed training for Keras models.

www.tensorflow.org

 

[Andhryss]

Era per quello che ti chiedevo che CPU avesse perchè le AVX sono implementate da tempo su tutte le CPU Intel sono le AVX2 che sono state introdotte più recentemente con gli Haswell. Quindi non è un problema di CPU perchè le AVX sono pienamente supportate. Installando delle GPU da server tipo Tesla ad esempio che puoi trovare a poco prezzo vai di calcolo parallelo GPU con Tensor flow GPU ad esempio. Tieni presente che le prestazioni di queste schede prendi ad esempio la M40 sono meno di una 3060 ma hanno parecchia VRAM (24GB) quindi devi valutare se fanno al caso tuo. Comunque ne puoi installare più di una e gestirle bene:

Multi-GPU and distributed training | TensorFlow Core

Guide to multi-GPU & distributed training for Keras models.

www.tensorflow.org

Si hai ragione, confermo che AVX c'è ma non AVX2 che mi costringe a prendere una GPU per tensorflow.
Grazie ancora per le dritte, oro colato

Su quale GPU poter prendere non ne ho la minima idea. Googlata veloce e nei listini di venditori ufficiali stanno sui 6k, ma reseller privati una manciata di centinaia di euro. Com'è possibile, scam?
Dato che non sarò io ad acquistare la scheda ma un funzionario di un qualche ufficio, penso dovranno acquistare da venditori autorizzati. Se la differenza con un privato è cosi alta, non converrebbe prendere una nuova workstation con quel budget?

 

[Kelion]

Si hai ragione, confermo che AVX c'è ma non AVX2 che mi costringe a prendere una GPU per tensorflow.
Grazie ancora per le dritte, oro colato

Su quale GPU poter prendere non ne ho la minima idea. Googlata veloce e nei listini di venditori ufficiali stanno sui 6k, ma reseller privati una manciata di centinaia di euro. Com'è possibile, scam?
Dato che non sarò io ad acquistare la scheda ma un funzionario di un qualche ufficio, penso dovranno acquistare da venditori autorizzati. Se la differenza con un privato è cosi alta, non converrebbe prendere una nuova workstation con quel budget?

Dovresti precisare meglio le necessità che hai. I software si limitano a tensor flow o anche altro?