Vera Rubin NVL72: Cosa significa l'infrastruttura di formazione di nuova generazione

Vera Rubin NVL72 è la risposta di NVIDIA ai limiti delle GPU su scala server: una macchina progettata per lo scopo, su scala rack, che nasconde la complessità dei cavi, racchiude 72 GPU Rubin e 36 CPU Vera in un unico chassis a liquido e sposta la larghezza di banda all'interno del rack in modo che modelli più grandi funzionino più velocemente per watt. Questo design cambia l'aritmetica dell'economia di addestramento costringendo una scelta più netta tra cloud, colocation e acquisto della propria hardware.

Innovazioni hardware e di rete del Vera Rubin NVL72

Le pagine prodotto di NVIDIA e la documentazione dell'architettura di riferimento enumerano i cambiamenti concreti. Un rack GB300 NVL72 contiene 72 GPU Rubin e 36 CPU Grace/Vera, una rete NVLink valutata a circa 260 terabyte al secondo attraverso il rack, che si traduce in circa 3,6 terabyte al secondo di larghezza di banda all-to-all per GPU, e vassoi di switch NVLink hot-swappable che rimuovono i lunghi cavi esterni. NVIDIA afferma di avere fino a 10 volte più token per megawatt rispetto alla precedente generazione GB200. Il rack è completamente raffreddato a liquido e i valori di potenza comunemente citati variano da 120 a 155 kilowatt a seconda della configurazione e del carico di lavoro, quindi il raffreddamento e la potenza della struttura sono vincoli di primo ordine. Fonti: pagine prodotto e per sviluppatori NVL72 di NVIDIA, documentazione GB300 di HPE e Lenovo.

Trade-off pratici per gli acquirenti

Se operi su scala hyperscaler, la matematica è semplice. Maggiore efficienza per megawatt riduce la spesa energetica e il tempo di attesa per le esecuzioni di addestramento con parametri multi-trilione. La rete NVLink riduce il sovraccarico di sincronizzazione inter-GPU, il che abbassa il tempo di clock di addestramento per lavori di parallelismo di modello strettamente accoppiato. Se sei un cloud, questo si traduce in un maggiore throughput per bay del data center.

Per le imprese e i laboratori, i trade-off complicano le decisioni di acquisizione. L'hardware richiede distribuzione di potenza su misura, busbar DC a 50 volt o più ripiani di potenza da 33 kW, acqua refrigerata o CDU a circuito chiuso, e personale esperto nel servizio rack a liquido. Questi permettono prestazioni ma aggiungono aggiornamenti fissi della struttura che sono difficili da ammortizzare sotto un utilizzo limitato o ondivago.

Un ovvio controargomento è la diversificazione dei fornitori. Acceleratori alternativi e sistemi come wafer progettati per scopi specifici o apparecchiature classi Cerebras hanno diversi punti di integrazione e possono evitare la dipendenza da NVLink. Grandi fornitori di cloud hanno già mescolato tipi di acceleratori nella produzione, il che riduce il rischio di un fornitore unico. Vedi l'esempio storico degli ampi schieramenti di acceleratori alternativi per contesto Amazon distribuisce la tecnologia Cerebras 25 volte più velocemente di.

Guida alle decisioni e lezioni osservate

Se hai bisogno di una capacità di addestramento su larga scala sostenuta e prevedibile e gestisci centinaia di rack, il percorso NVL72 di solito ridurrà il tempo di esecuzione e il costo energetico per parametro. Se le tue esigenze sono intermittenti o limitate a decine di rack, noleggia prima. I fornitori di colocation offriranno punti intermedi, ma aspettati prezzi premium per potenza e capacità CDU sufficienti.

Abbiamo osservato tre modelli operativi ricorrenti mentre studiavamo sistemi NVL su scala rack. Prima di tutto, il design della potenza diventa il progetto, non il rack. In secondo luogo, gli strumenti software che sfruttano NVLink a livello rack sono il fattore limitante per reali guadagni di throughput. Terzo, la velocità di installazione e manutenzione è importante perché un solo vassoio guasto può fermare un lavoro multi-rack.

Il NVL72 di NVIDIA cambia il baricentro per l'infrastruttura di addestramento. Favorisce le organizzazioni che possono investire in potenza e raffreddamento a livello di campus o hyperscale e che pianificano software per utilizzare collegamenti stretti all-to-all. Per tutti gli altri, il percorso sensato è un'adozione a fasi: cloud o colocation per la scala iniziale e un impegno on-premise mirato solo una volta che l'utilizzo rimane alto e prevedibile.