Alibaba Cloud riduce l'uso di GPU NVIDIA dell'82%

[Antonello Buzzi]

Un sistema di scheduling a livello di token permette a una singola GPU di gestire più LLM, riducendo il fabbisogno da 1.192 a 213 H20.

https://www.tomshw.it/hardware/alibaba-cloud-riduce-luso-di-gpu-nvidia-dell82-2025-10-20

 

[mail9000]

col cavolo che serve solo in Cina dove ci sono problemi di reperibilità.
Me lo immagino il manager occidentale che tra comprare 213 GPU o 1192 dice... ne compro 1200 perchè tanto posso acquistarle.
Da valutare in quale contesto è possibile risparmio... Ma se funziona per ALIBABA, dovrebbe funzionare anche per AMAZON, e se funziona per modelli linguisti dovrebbe funzionare anche per google e youtube.