Hardware per IA locale

[JL extrem]

Salve , avrei bisogno di alcuni consigli su varie configurazioni che dovrei fare step by step .

Ho bisogno di fare girare su ia in locale che attualmente in versione base. Senza nessuna grafica pesa sui 500 gb ram ,
Sono indeciso sulla scheda video
Quella più abbordabile sarebbe la rtx A6000 che con la funzione nvidalink somma la vram di più schede video . La stessa funzione che io sappia c'è la solo nvidia h100 ma questa costa oltre 16 mila €

 

[BAT]

Senza nessuna grafica pesa sui 500 gb ram

questa non è roba che puoi fare su un PC con componentistica consumer...

 

[mr_loco]

NVIDIA DGX Spark

A Grace Blackwell AI supercomputer on your desk.

www.nvidia.com

 

[jesse83]

NVIDIA DGX Spark

A Grace Blackwell AI supercomputer on your desk.

www.nvidia.com

che tra l'altro non gli basta, quello ha 128 GB di Vram mi pare

 

[Kelion]

Salve , avrei bisogno di alcuni consigli su varie configurazioni che dovrei fare step by step .

Ho bisogno di fare girare su ia in locale che attualmente in versione base. Senza nessuna grafica pesa sui 500 gb ram ,
Sono indeciso sulla scheda video
Quella più abbordabile sarebbe la rtx A6000 che con la funzione nvidalink somma la vram di più schede video . La stessa funzione che io sappia c'è la solo nvidia h100 ma questa costa oltre 16 mila €

Sono soluzioni proibitive dal punto di vista del costo. Un cluster GPU con Nvidia Tesla su piattaforma server potrebbe essere una soluzione più fattibile con hardware un pò datato comprato usato e far diventare la variabile più importante il tempo di elaborazione e non la potenza di calcolo.