Vera Rubin NVL72: Ką reiškia naujos kartos treniruočių infrastruktūra

Vera Rubin NVL72 yra NVIDIA atsakymas į serverių masto GPU ribas: specialiai sukurtas, rack-masto aparatas, kuris slepia kabelių sudėtingumą, talpina 72 Rubin GPU ir 36 Vera CPU viename skystuoju aušinimu aprūpintame korpuse, ir perkelią pralaidumą į rack vidų, kad didesni modeliai veiktų greičiau už vatą. Šis dizainas keičia treniruočių ekonomikos aritmetiką, tuo pačiu priversdamas tikslesnį pasirinkimą tarp debesų, bendro naudojimo ir savo aparatūros pirkimo.

Vera Rubin NVL72 aparatūros ir tinklo naujovės

NVIDIA produktų puslapiai ir nuorodų architektūros dokumentacija nurodo konkrečius pokyčius. GB300 NVL72 rack'e yra 72 Rubin GPU ir 36 Grace/Vera CPU, NVLink audinys, kurio pralaidumas yra apie 260 terabaitų per sekundę visame rack'e, kas reiškia apie 3,6 terabaito per sekundę visų su visais pralaidumo kiekvienam GPU, ir karštą pakeitimą palaikančios NVLink jungiklio lėkštės, kurios pašalina ilgus išorinius kabelius. NVIDIA teigia, kad gauti iki 10 kartų daugiau tokenų už megavatą, palyginti su ankstesne GB200 karta. Rack'as yra visiškai aušinamas skysčiu, o dažnai cituojamos energijos skaičiai svyruoja nuo 120 iki 155 kilovatų, priklausomai nuo konfigūracijos ir darbo krūvio, todėl energijos tiekimas ir aušinimas yra pirmo lygio apribojimai. Šaltiniai: NVIDIA NVL72 produktų ir kūrėjų puslapiai, HPE ir Lenovo GB300 dokumentacija.

Praktiniai pasirinkimo kompromisai pirkėjams

Jei dirbate hiperskalių mastu, matematika yra paprasta. Aukštesnis efektyvumas už megavatą sumažina energijos išlaidas ir sumažina laiką kelioms trilijonų parametrų treniruotėms. NVLink audinys sumažina inter-GPU sinchronizavimo perteklius, kuris sumažina treniruočių laikrodžio laiką glaudžių modelių lygiagrečio darbo metu. Jei esate debesyje, tai verčia didesnį pralaidumą už kiekvieną duomenų centro vietą.

Įmonėms ir laboratorijoms pasirinkimo kompromisai komplikuoja įsigijimo sprendimus. Aparatūra reikalauja individualaus energijos paskirstymo, 50 voltų DC juostų arba daugybės 33 kW energijos lentynų, šaldyto vandens arba uždaro ciklo CDU, ir darbuotojų, turinčių patirties skystuoju aušinimu aprūpintų rack'ų aptarnavime. Tai leidžia našumui, tačiau prideda fiksuotų patalpų atnaujinimų, kuriuos sunku amortizuoti esant mažam ar nepastoviam naudojimui.

Vienas akivaizdus priešargumentas yra tiekėjų diversifikacija. Alternatyvūs greitintuvai ir sistemos, tokios kaip specialiai sukurti luitai arba Cerebras klasės prietaisai turi skirtingus integracijos taškus ir gali išvengti NVLink priklausomybės. Dideli debesų tiekėjai jau gamybos metu vairuoja skirtingų greitintuvų tipus, kas sumažina vienvietės tiekėjų riziką. Žiūrėkite istorinius pavyzdžius apie didelius debesų platinimus su alternatyviais greitintuvais, kaip kontekste Amazon diegia Cerebras technologiją 25 kartų greičiau nei.

Sprendimų gidas ir stebimos pamokos

Jei jums reikia ilgalaikio, numatomo didelio masto treniruočių pajėgumo ir dirbate su šimtais rack'ų, NVL72 kelias paprastai sumažins paleidimo laiką ir energijos kaštus už parametrą. Jei jūsų poreikiai yra nepastovūs arba apriboti iki dešimčių rack'ų, pirmiausia nuomokite. Bendro naudojimo tiekėjai pasiūlys vidurio taškus, tačiau tikėtis, kad pakankamo energijos ir CDU pajėgumo kainos bus didesnės.

Stebėjome tris pasikartojančias operacijas tirdami rack-masto NVL sistemas. Pirma, energijos dizainas tampa projektu, o ne rack'u. Antra, programinės įrangos įrankiai, kurie išnaudoja rack-lentelę NVLink, yra lemiamas veiksnys realiems pralaidumo padidėjimams. Trečia, diegimo ir aptarnavimo greitis yra svarbus, nes vienas nesėkmingas lėkštė gali sustabdyti kelių rack'ų darbą.

NVIDIA NVL72 keičia treniruočių infrastruktūros gravitacijos centrą. Ji teikia pirmenybę organizacijoms, galinčioms investuoti į kampus ar hiperskalių energiją ir aušinimą bei planuoti programinę įrangą, kad būtų naudojami glaudūs visų su visais ryšiai. Visiems kitiems protingas kelias yra etapus: debesys arba bendra naudojimo vieta pradiniam mastui, o tiksliai vietinis įsipareigojimas tik tada, kai išnaudojimas išlieka didelis ir prognozuojamas.