Vera Rubin NVL72: Hva neste generasjons treningsinfrastruktur betyr

Vera Rubin NVL72 er NVIDIAs svar på begrensningene med server-skala GPU-er: en spesialbygd, rack-skala maskin som skjuler kabelkompleksitet, pakker 72 Rubin GPU-er og 36 Vera CPU-er i et enkelt væskekjølt chassis, og flytter båndbredde inn i racket slik at større modeller kjører raskere per watt. Det designet endrer kalkylene for treningsøkonomi samtidig som det tvinger frem et skarpere valg mellom sky, co-lokasjon, og å kjøpe egen maskinvare.

Vera Rubin NVL72 maskinvare og nettverksinnovasjoner

NVIDIAs produktsider og referansearkitektur dokumentasjon oppregner de konkrete endringene. Et GB300 NVL72 rack inneholder 72 Rubin GPU-er og 36 Grace/Vera CPU-er, et NVLink-nett som har en kapasitet på omtrent 260 terabyte per sekund over racket, noe som utgjør omtrent 3,6 terabyte per sekund av all-til-all båndbredde per GPU, og hot-swappable NVLink byttebrett som fjerner lange eksterne kabler. NVIDIA hevder opptil 10 ganger flere tokens per megawatt sammenlignet med den forrige GB200-generasjonen. Racket er fullt væskekjølt, og de vanlig siterte effektfigurene ligger i 120 til 155 kilowattområdet avhengig av konfigurasjon og arbeidsbelastning, så anleggets strøm og kjøling er førsteklasses begrensninger. Kilder: NVIDIAs NVL72 produkt- og utviklersider, HPE og Lenovo GB300 dokumentasjon.

Praktiske trade-offs for kjøpere

Hvis du opererer på hyperskaler nivå er matematikken enkel. Høyere effektivitet per megawatt reduserer energikostnader og reduserer ventetid for multi-trillion parameter treningsløp. NVLink-nettet reduserer inter-GPU synkroniseringsoverhead, noe som senker treningsveggklokketid for tett koblete modellparallellarbeid. Hvis du er en sky, oversettes dette til mer gjennomstrømning per datasenterområde.

For bedrifter og laboratorier kompliserer trade-offs beslutningene om anskaffelse. Maskinvaren krever spesialtilpasset strømdistribusjon, 50 volt DC busbars eller flere 33 kW strøhyller, kjølt vann eller lukkede CDUs, og ansatte med erfaring i væskekjølt rackservice. Disse muliggjør ytelse, men legger til faste anleggsoppgraderinger som er vanskelige å avskrive under små eller varierende bruksforhold.

Et åpenbart motargument er leverandør diversifisering. Alternative akseleratorer og systemer som spesiallagde wafer eller Cerebras-klassen apparater har forskjellige integreringspunkter og kan unngå NVLink avhengighet. Store skytilbydere har allerede blandet akseleratortyper i produksjon, noe som reduserer risikoen for enkeltleverandør. Se det historiske eksemplet på store skyløsninger med alternative akseleratorer for kontekst Amazon implementerer Cerebras-teknologi 25 ganger raskere enn.

Beslutningsveileder og observerte erfaringer

Hvis du trenger vedvarende, forutsigbar stor-skala treningskapasitet og opererer hundrevis av rack, vil NVL72-veien vanligvis senke kjøretid og energikostnad per parameter. Hvis behovene dine er sporadiske eller begrenset til dusinvis av rack, leie først. Co-lokasjonsleverandører vil tilby mellomliggende løsninger, men forvent premiumpriser for tilstrekkelig strøm og CDU-kapasitet.

Vi har observert tre gjentakende driftsmønstre mens vi studerte rack-skala NVL-systemer. For det første, strømdesign blir prosjektet, ikke racket. For det andre, programvareverktøy som utnytter rack-nivå NVLink er den avgjørende faktoren for reelle gjennomstrømningsgevinster. For det tredje, installasjons- og servicehastighet er viktig fordi et enkelt mislykket brett kan stoppe en multi-rack jobb.

NVIDIAs NVL72 endrer tyngdepunktet for treningsinfrastruktur. Det favoriserer organisasjoner som kan investere i campus eller hyperskala kraft og kjøling, og som planlegger programvare for å bruke tette all-til-all koblinger. For alle andre er den fornuftige veien trinnvis adopsjon: sky eller co-lokasjon for initial skala og et målrettet on-prem-initiativ først når bruken forblir høy og forutsigbar.