Vera Rubin NVL72: Što znači infrastruktura za trening sljedeće generacije

Vera Rubin NVL72 je NVIDIA-in odgovor na ograničenja GPU-a u velikim poslužiteljima: namjenski izgrađena mašina veličine regala koja skriva složenost kabela, pakira 72 Rubin GPU-a i 36 Vera CPU-a u jedinstveni okvir hlađen tekućinom, te prenosi propusnost unutar regala tako da veći modeli brže rade po vatu. Taj dizajn mijenja aritmetiku ekonomije treninga dok prisiljava oštriji izbor između oblaka, kolokacije i kupnje vlastitog hardvera.

Inovacije u hardveru i mreži Vera Rubin NVL72

NVIDIA-eve stranice proizvoda i dokumentacija referentne arhitekture navode konkretne promjene. GB300 NVL72 regal sadrži 72 Rubin GPU-a i 36 Grace/Vera CPU-a, NVLink tkanina ocijenjena na približno 260 terabajta u sekundi kroz regal što iznosi oko 3,6 terabajta u sekundi sve prema svemu propusnosti po GPU-u, i izmjenjive NVLink prekidače koji uklanjaju duga vanjska kabela. NVIDIA tvrdi da do 10 puta više tokena po megavatu u usporedbi s prethodnom generacijom GB200. Regal je potpuno hlađen tekućinom, a uobičajeni podaci o snazi kreću se u rasponu od 120 do 155 kilovata ovisno o konfiguraciji i opterećenju, pa su snaga i hlađenje objekta prvi redni čimbenici. Izvori: NVIDIA NVL72 stranice proizvoda i developera, HPE i Lenovo GB300 dokumentacija.

Praktične kompromise za kupce

Ako djelujete na razini hiperskalera, matematika je jednostavna. Viša učinkovitost po megavatu smanjuje potrošnju energije i smanjuje vrijeme potrebano za izvršenje treninga s više milijardi parametara. NVLink tkanina smanjuje preopterećenje međusobne sinkronizacije GPU-a, što smanjuje vrijeme zadržavanja treninga za usko povezani rad s modelima. Ako ste oblak, to se prevodi u veću propusnost po prostoru podatkovnog centra.

Za poduzeća i laboratorije, kompromisi kompliciraju odluke o nabavci. Hardver zahtijeva prilagođenu distribuciju snage, 50-voltnu DC šinu ili više 33 kW snage, ohlađenu vodu ili zatvorene CDU-ove, te osoblje iskusno u radu sa regali hlađenim tekućinom. To omogućuje performanse, ali dodaje fiksne nadogradnje objekta koje je teško amortizirati pod malom ili neuobičajenom potrošnjom.

Jedan očiti protargument je diversifikacija dobavljača. Alternativni akceleratori i sustavi kao što su namjenski izrađene wafer tehnologije ili uređaji klase Cerebras imaju različite točke integracije i mogu izbjeći ovisnost o NVLinku. Veliki pružatelji oblaka već su miksali vrste akceleratora u proizvodnji, što smanjuje rizik od jednog dobavljača. Pogledajte povijesni primjer velikih oblačnih implementacija alternativnih akceleratora za kontekst Amazon implementira Cerebras tehnologiju 25 puta brže nego.

Vodič za odluke i uočene lekcije

Ako vam je potrebna održiva, predvidljiva kapacitet za velike treninge i upravljate sa stotinama regala, put NVL72 obično će smanjiti vrijeme izvođenja i trošak energije po parametru. Ako su vaše potrebe povremene ili ograničene na desetke regala, prvo iznajmite. Pružatelji kolokacije će nuditi srednje rješenja, ali očekujte premium cijene za dovoljnu snagu i kapacitet CDU-a.

Primijetili smo tri ponavljajuća operativna obrasca dok smo proučavali sustave NVL veličine regala. Prvo, dizajn snage postaje projekt, a ne regal. Drugo, softverski alati koji koriste NVLink na razini regala su ograničavajući faktor za stvarne dobitke u propusnosti. Treće, brzina instalacije i servisiranja je bitna jer jedan neispravan okvir može zaustaviti posao s više regala.

NVIDIA-in NVL72 mijenja središte gravitacije za infrastrukturu za trening. Povoljno je za organizacije koje mogu investirati u energiju i hlađenje na kampusu ili hiperskalu i koje planiraju softver za korištenje uskih all-to-all veza. Za sve ostale razuman put je postepena adaptacija: oblak ili kolokacija za inicijalnu razinu i ciljana obveza na licu mjesta tek kada se iskorištenost zadrži visokom i predvidljivom.