Vera Rubin NVL72: Hvad næste generations træningsinfrastruktur betyder

Vera Rubin NVL72 er NVIDIAs svar på begrænsningerne ved GPU'er i serverstørrelse: en specialbygget rack-størrelse maskine, der skjuler kabelforvirring, pakker 72 Rubin GPU'er og 36 Vera CPU'er ind i et enkelt væskekølet chassis, og flytter båndbredde inden i racken, så større modeller kører hurtigere per watt. Det design ændrer den matematisk for træningsøkonomi, mens det tvinger til et skarpere valg mellem cloud, co-lokation og køb af eget hardware.

Vera Rubin NVL72 hardware og netværksinnovationer

NVIDIAs produktsider og dokumentation for referencearkitektur beskriver de konkrete ændringer. En GB300 NVL72 rack indeholder 72 Rubin GPU'er og 36 Grace/Vera CPU'er, et NVLink-netværk vurderet til omtrent 260 terabyte per sekund på tværs af racken, hvilket giver omkring 3,6 terabyte per sekund af all-to-all båndbredde per GPU, samt hot-swappable NVLink switch trays, der fjerner lange eksterne kabler. NVIDIA hævder op til 10 gange flere tokens per megawatt sammenlignet med den tidligere GB200 generation. Racken er helt væskekølet, og de almindeligt citerede effekttal ligger i området 120 til 155 kilowatt afhængigt af konfiguration og arbejdsbelastning, så facility strøm og køling er førsteordens begrænsninger. Kilder: NVIDIA NVL72 produkt- og udviklersider, HPE og Lenovo GB300 dokumentation.

Praktiske trade-offs for købere

Hvis du opererer på hyperscaler skala, er matematikken enkel. Højere effektivitet per megawatt reducerer energiforbrug og reducerer ventetid for multi-trillion parameter træningsforløb. NVLink-netværket reducerer inter-GPU synchroniseringsomkostninger, hvilket sænker træningens væg-ur tid for tæt koblede modelparallelt arbejde. Hvis du er en cloud, oversættes det til mere throughput per datacenterbæ.

For virksomheder og laboratorier gør trade-offs anskaffelsesbeslutninger mere komplicerede. Hardware kræver skræddersyet strømdistribution, 50 volt DC busbars eller flere 33 kW strømhylstre, koldt vand eller lukkede kredsløbs CDUs, og personale med erfaring i væskekølet rackservice. Det muliggør ydeevne men tilføjer faste facilitetsopgraderinger, som er svære at afskrive under lille eller bursty brug.

Et åbenlyst modargument er leverandørdiversificering. Alternative acceleratorer og systemer som specialbyggede wafers eller Cerebras-klasse apparater har forskellige integrationspunkter og kan undgå NVLink afhængighed. Store cloud-udbydere har allerede blandet accelerator-typer i produktion, hvilket reducerer risikoen ved en enkelt leverandør. Se det historiske eksempel på store cloud-udrulninger af alternative acceleratorer for kontekst Amazon implementerer Cerebras-teknologi 25 gange hurtigere end.

Beslutningsguide og observerede lektioner

Hvis du har brug for vedholdende, forudsigelig stor-skala træningskapacitet og opererer hundreder af racks, vil NVL72-vejen sædvanligvis sænke kørselstiden og energikostnaden per parameter. Hvis dine behov er intermittent eller begrænset til dusinvis af racks, lej først. Co-lokationsudbydere vil tilbyde midtpunkter, men forvent præmiepriser for tilstrækkelig strøm og CDU kapacitet.

Vi har observeret tre tilbagevendende driftsmønstre, mens vi studerede rack-skala NVL-systemer. For det første bliver strømdesign projektet, ikke racken. For det andet er softwareværktøjer, der udnytter rack-niveau NVLink, den begrænsende faktor for ægte throughput-gevinster. For det tredje betyder installations- og servicehastighed noget, fordi en enkelt fejlet tray kan stoppe et multi-rack job.

NVIDIAs NVL72 ændrer tyngdepunktet for træningsinfrastruktur. Det favoriserer organisationer, der kan investere i campus eller hyperscale strøm og køling, og som planlægger software til at bruge tætte all-to-all forbindelser. For alle andre er den fornuftige vej trinvist adoption: cloud eller co-lokation for indledende skala og en målrettet on-prem commitment kun, når udnyttelsen forbliver høj og forudsigelig.