Vera Rubin NVL72: Čo znamená infraštruktúra nasledujúcej generácie pre tréning

Vera Rubin NVL72 je odpoveďou spoločnosti NVIDIA na obmedzenia serverových GPU: stroj vyrobený na zákazku, ktorý skrýva zložitosti káblov, obsahuje 72 Rubin GPU a 36 Vera CPU v jednom kvapalne chladenom šasi a presúva šírku pásma do racku, takže väčšie modely bežia rýchlejšie na watt. Tento dizajn mení aritmetiku nákladov na tréning a núti ostrejšiu voľbu medzi cloudom, kolokáciou a nákupom vlastného hardvéru.

Hardvérové a sieťové inovácie Vera Rubin NVL72

Produktové stránky NVIDIA a dokumentácia týkajúca sa referenčnej architektúry uvádzajú konkrétne zmeny. Rack GB300 NVL72 obsahuje 72 Rubin GPU a 36 Grace/Vera CPU, NVLink tkanina s prenosovou kapacitou približne 260 terabajtov za sekundu cez rack, čo sa rovná približne 3,6 terabajtov za sekundu šírky pásma na GPU, a hot-swap NVLink switche, ktoré odstránia dlhé externé káble. Spoločnosť NVIDIA tvrdí, že dosahuje až 10-krát viac tokenov na megawatt v porovnaní s predchádzajúcou generáciou GB200. Rack je plne kvapalne chladený a bežne uvádzané hodnoty výkonu sa pohybujú v rozmedzí od 120 do 155 kilowattov v závislosti od konfigurácie a pracovného zaťaženia, takže napájanie a chladenie budov sú prvotné obmedzenia. Zdroje: Produktové a vývojárske stránky NVIDIA NVL72, dokumentácia HPE a Lenovo GB300.

Praktické obchodné rozhodnutia pre kupujúcich

Ak pracujete na úrovni hyperscaler, matematika je jednoduchá. Vyššia účinnosť na megawatt znižuje náklady na energiu a znižuje čas na vykonanie tréningových behov s viacerými triliónmi parametrov. NVLink tkanina znižuje náklady na synchronizáciu medzi GPU, čo skracuje čas tréningu pri tesne prepojených modeloch paralelného spracovania. Ak ste cloud, to sa premieta do vyššej priepustnosti na bay dátového centra.

Pre podniky a laboratóriá sú obchodné rozhodnutia zložitšie. Hardvér si vyžaduje vlastnú distribúciu energie, 50 voltové DC rozvody alebo viacero 33 kW napájacích poličiek, chladenú vodu alebo uzavreté CDUs a zamestnancov so skúsenosťami s kvapalne chladeným rackovým servisem. Tieto umožňujú výkon, ale pridávajú fixné vylepšenia budov, ktoré sa ťažko amortizujú pri malom alebo priebežnom použití.

Jedným z obvyklých protiargumentov je diverzifikácia dodávateľov. Alternatívne akcelerátory a systémy, ako sú špeciálne vyrobené wafers alebo zariadenia triedy Cerebras, majú rôzne integračné body a môžu sa vyhnúť závislosti na NVLink. Veľké poskytovatelia cloudu už v produkcii miešajú typy akcelerátorov, čo znižuje riziko single-vendor. Pozrite si historický príklad veľkých nasadení cloudu s alternatívnymi akcelerátormi pre kontext Amazon nasadzuje technológiu Cerebras 25-krát rýchlejšie než.

Sprievodca rozhodovaním a pozorované lekcie

Ak potrebujete udržateľnú a predvídateľnú kapacitu veľkého tréningu a spravujete stovky rackov, cesta NVL72 obvykle zníži čas behu a náklady na energiu na parameter. Ak sú vaše potreby príležitostné alebo obmedzené na desiatky rackov, najprv prenajmite. Poskytovatelia kolokácie ponúknu stredné riešenia, ale očakávajte prémiové ceny za dostatočnú kapacitu napájania a CDU.

Pri štúdiu rackových systémov NVL sme pozorovali tri opakujúce sa operačné vzory. Po prvé, dizajn napájania sa stáva projektom, nie rackom. Po druhé, softvérové nástroje, ktoré využívajú rack-level NVLink, sú brzdným faktorom pre reálne zisky priepustnosti. Po tretie, rýchlosť inštalácie a údržby je dôležitá, pretože jeden zlyhaný tray môže zastaviť prácu s viacerými rackami.

NVL72 od NVIDIA mení ťažisko pre tréningovú infraštruktúru. Uprednostňuje organizácie, ktoré môžu investovať do areálových alebo hyperskalových napájacích a chladených systémov a ktoré plánujú softvér na využitie tesných všetko-k-všetkému prepojení. Pre všetkých ostatných je rozumnou cestou postupná adopcia: cloud alebo kolokácia pre počiatočnú škálu a cielenej angažovanosti na miestnej úrovni až potom, keď využitie zostáva vysoké a predvídateľné.