VRAM esterna, sarebbe possibile?

[Kollaps]

Domandona di quelle da post-sbornia (ma neanche tanto)
Con l'avvento delle richieste sempre più alte di VRAM per l'IA ci troviamo sempre di più nella situazione dove le top di gamma consumer si trovano ovviamente avvantaggiate, data la mole di VRAM che montano, ma nel contesto dell'IA non è che ci sguazzino, anzi, ci sono certi modelli dove 24/32 gb di VRAM sono addirittura considerati entry level e, io che seguo questo mondo, proprio in questi giorni è uscito un modello che è devastante in termini di richieste. I modelli ad uso "consumer" sono delle molliche in confronto a quelli gestiti da server e super computer, con l'incedere della tecnologia anche per uso consumer stanno uscendo sempre di più modelli che divorano VRAM.

Da qui la domanda, sarebbe mai possibile l'eventuale costruzione di hardware dedicato per la VRAM, slegandosi dall'ormai limite legato alla scheda video, per consentire un'eventuale accelerazione? Quali sono i limiti che non hanno mai portato a questa soluzione? C'entra Il fatto che sia saldata vicino alla GPU e che questo la renda più veloce rispetto alla RAM? Problemi di eventuali calori e latenze se slegata dalle gpu? Motivi di vendita?

 

[BAT]

Quali sono i limiti che non hanno mai portato a questa soluzione? C'entra Il fatto che sia saldata vicino alla GPU e che questo la renda più veloce rispetto alla RAM?

i processori, che siano CPU generaliste o GPU specializzate, devono poter accedere velocemente (bassa latenza) a RAM/VRAM e alla massima velocità possibile (frequenza, banda);
quindi le RAM devono essere VICINE il più possibile per minimizzare accessi e i tempi di trasferimento dei dati;

una ipotetica memoria esterna viola questi principi, inoltre se allunghi i percorsi (in pratica i fili su cui viaggia l'informazione), il segnale degrada (in modo proporzionale al quadrato della distanza), e quando ciò accade aumentano gli errori di trasmissione (che devono essere corretti e se ciò non è possibile i dati devono essere ritrasmessi).

 

[crimescene]

i processori, che siano CPU generaliste o GPU specializzate, devono poter accedere velocemente (bassa latenza) a RAM/VRAM e alla massima velocità possibile (frequenza, banda);
quindi le RAM devono essere VICINE il più possibile per minimizzare accessi e i tempi di trasferimento dei dati;

una ipotetica memoria esterna viola questi principi, inoltre se allunghi i percorsi (in pratica i fili su cui viaggia l'informazione), il segnale degrada (in modo proporzionale al quadrato della distanza), e quando ciò accade aumentano gli errori di trasmissione (che devono essere corretti e se ciò non è possibile i dati devono essere ritrasmessi).

concordo è lo stesso principio che rende la 3d v-cache così speciale (l'hanno mesa impilata)

 

[Tony_x]

Certo che è possibile la vram esterna, si chiama RAM e a quel punto la latenza di accesso ai dati è tale da compromettere totalmente le prestazioni

 

[BAT]

Certo che è possibile la vram esterna, si chiama RAM e a quel punto la latenza di accesso ai dati è tale da compromettere totalmente le prestazioni

è una cosa differente, perché quella è la DRAM di sistema che è molto più lenta ed ha un canale di trasmissione differente;
tecnicamente si potrebbe fare uno "scatolotto" con sola VRAM ma deve essere connesso con la stessa connessione della VRAM a bordo della scheda, ma questo implica proprio il tipo di problemi che ti dicevo, cioè i percorsi fisici si allungano;
per non parlare dei scosti della sola interfaccia di connessione, insomma per il momento non adatta al mercato consumer, in futuro si vedrà

 

[av250866]

La distanza non è un problema insormontabile, basterebbe avere un bus con una capacità maggiore in modo da compensare la latenza con una superiore quantità di informazioni al secondo, ma andrebbe rivista tutta l'architettura anche del SW in modo che possa fare analisi predittiva sulle info che gli servono con maggiore anticipo ed incrementare l'utilizzo di un vero multithreading anche tra sottoprocessi della stessa applicazione.

Insomma, al momento sarebbe una rivoluzione troppo grossa per un mercato troppo ristretto.