Vera Rubin NVL72: Co znamená infra pro trénink generace další

Vera Rubin NVL72 je odpovědí NVIDIA na omezení GPU na úrovni serverů: stroj navržený na míru, který skryje složitost kabeláže, v jeden chladicí rámec ukrývá 72 Rubin GPU a 36 Vera CPU a přesune šířku pásma uvnitř racku, takže větší modely běží rychleji na watt. Tento design mění aritmetiku ekonomiky trénování a zároveň nutí k ostřejší volbě mezi cloudem, kolokací a koupí vlastní hardwaru.

Inovace hardwaru a sítě Vera Rubin NVL72

Produktové stránky a dokumentace referenční architektury NVIDIA uvádějí konkrétní změny. Rack GB300 NVL72 obsahuje 72 Rubin GPU a 36 Grace/Vera CPU, NVLink fabric s přenosovou rychlostí přibližně 260 terabajtů za sekundu napříč rackem, což se rovná asi 3,6 terabajtům za sekundu all-to-all šířky pásma na GPU, a hot-swappable NVLink switch trays, které odstraňují dlouhé externí kabely. NVIDIA tvrdí, že dosahuje až 10x více tokenů na megawatt ve srovnání s předchozí generací GB200. Rack je plně kapalinou chlazen a běžně citované hodnoty příkonu jsou v rozmezí 120 až 155 kilowatt v závislosti na konfiguraci a zátěži, takže elektrická energie a chlazení zařízení představují prvořadá omezení. Zdroje: stránky produktů a vývojářských materiálů NVIDIA NVL72, dokumentace HPE a Lenovo GB300.

Praktické obchodní úvahy pro kupující

Pokud pracujete na úrovni hyperscaler, matematika je jednoduchá. Vyšší účinnost na megawatt snižuje náklady na energii a zkracuje dobu celkové tréninkové operace pro vícetrilionové parametrové tréninky. NVLink fabric snižuje synchronizační režii mezi GPU, což zkracuje dobu trénování reálného času pro těsně spojené modely paralelní práce. Pokud jste cloud, to se překládá do vyšší propustnosti na jeden bay datového centra.

Pro podniky a laboratoře komplikují obchodní úvahy rozhodnutí o akvizici. Hardware vyžaduje speciální distribuci energie, 50 voltové DC sběrnice nebo více 33 kW napájecích regálů, chlazenou vodu nebo uzavřené okruhy CDU a personál se zkušenostmi se službami kapalinou chlazených racků. Tyto prvky zajišťují výkon, ale přidávají fixní vylepšení zařízení, která se těžko amortizují v případě malého nebo přerušovaného využití.

Jeden z najzřejmějších protiargumentů je diverzifikace dodavatelů. Alternativní akcelerátory a systémy, jako jsou účelově navržené wafers nebo zařízení třídy Cerebras, mají různé integrační body a mohou se vyhnout závislosti na NVLink. Velcí poskytovatelé cloudu již smíchali typy akcelerátorů v produkci, což snižuje riziko jednoho dodavatele. Viz historický příklad velkých nasazení alternativních akcelerátorů v cloudu pro kontext Amazon deploys Cerebras technology 25 times faster than.

Průvodce rozhodováním a pozorované lekce

Pokud potřebujete trvalou, předvídatelnou kapacitu trénování ve velkém měřítku a provozujete stovky racků, cesta NVL72 obvykle sníží čas a náklady na energii na parametr. Pokud jsou vaše potřeby občasné nebo omezené na desítky racků, rentovat nejdříve. Poskytovatelé kolokace nabídnou střední cesty, ale očekávejte prémiové ceny za dostatečnou kapacitu energie a CDU.

Při zkoumání rackových systémů NVL jsme zaznamenali tři opakující se operační vzorce. Za prvé, návrh napájení se stává projektem, nikoli rackem. Za druhé, software, který využívá NVLink na úrovni racku, je klíčovým faktorem pro skutečné zisky v propustnosti. Třetí, rychlost instalace a servisu je důležitá, protože jediná selhávání tray může zastavit úlohu napříč více racky.

NVL72 společnosti NVIDIA mění střed těžiště pro tréninkovou infrastrukturu. Upřednostňuje organizace, které mohou investovat do napájení a chlazení na úrovni kampusu nebo hyperscale a které plánují software pro využití těsných all-to-all spojení. Pro všechny ostatní je rozumnou cestou postupná adopce: cloud nebo kolokace pro počáteční měřítko a cílený závazek na místě teprve poté, co se využití udrží na vysoké a předvídatelné úrovni.