Vera Rubin NVL72: Mitä seuraavan sukupolven koulutusinfra tarkoittaa

Vera Rubin NVL72 on NVIDIA:n vastaus palvelinskaalalaisille GPU:ille asetettuihin rajoituksiin: erityisesti rakennettu, hyllymittakaavan laite, joka piilottaa kaapelien monimutkaisuuden, pakkaa 72 Rubin-GPU:ta ja 36 Vera-CPU:ta yhteen nestekylmään koteloon ja siirtää kaistanleveyden hyllyn sisälle, jotta suuremmat mallit toimivat nopeammin wattilta. Tämä suunnittelu muuttaa koulutuksen taloudellista laskentaa samalla kun se pakottaa terävään valintaan pilven, yhteiskäytön ja oman laitteiston hankinnan välillä.

Vera Rubin NVL72 -laitteisto ja verkkoinnovaatiot

NVIDIA:n tuotesivut ja referenssarkkitehtuuridokumentaatio luettelevat konkreettiset muutokset. GB300 NVL72 -hylly sisältää 72 Rubin-GPU:ta ja 36 Grace/Vera-CPU:ta, NVLink-kangas, jonka arvioitu kapasiteetti on noin 260 teratavua sekunnissa hyllyn yli, mikä tarkoittaa noin 3,6 teratavua sekunnissa kaikkien GPU:iden väliseksi kaistanleveydeltä, sekä kuuman vaihdettavat NVLink-kytkimet, jotka poistavat pitkät ulkoiset kaapelit. NVIDIA väittää, että se tarjoaa jopa 10 kertaa enemmän tokeneita megawattia kohden verrattuna aikaisempaan GB200-sukupolveen. Hylly on täysin nestekylmä ja tavallisesti ilmoitetut teholuvut vaihtelevat 120:stä 155 kilowattiin riippuen kokoonpanosta ja kuormituksesta, joten laitosten sähkön ja jäähdytyksen vaatimukset ovat ensisijaisia rajoitteita. Lähteet: NVIDIA NVL72 -tuote- ja kehittäjäsivut, HPE- ja Lenovo GB300 -dokumentaatio.

Käytännön kauppasuhteet ostajille

Jos toimit hyperskaala-tasolla, matematiikka on yksinkertaista. Korkeampi tehokkuus megawattia kohden vähentää energiakustannuksia ja lyhentää aika, jota käytetään usean triljoonan parametrin koulutusprosessiin. NVLink-kangas vähentää GPU:iden välistä synkronointikuormitusta, mikä lyhentää koulutuksen kelloaikaa tiiviisti kytketyissä mallipariteetissä. Jos tunnet itsesi pilveksi, se tarkoittaa suurempaa tuottavuutta kukin datakeskuksen käytävä.

Yrityksille ja laboratorioille kauppasuhteet monimutkaistavat hankintapäätöksiä. Laitteisto vaatii räätälöityä sähköjakelua, 50 voltin DC-jakopalkkeja tai useita 33 kW virralle, jäädytettyä vettä tai suljettuja CDU:ita sekä kokeneita työntekijöitä nestekylmässä hyllypalvelussa. Ne mahdollistavat suorituskyvyn, mutta lisäävät kiinteitä laitosparannuksia, joita on vaikea suorittaa pienen tai suurten käyttöjaksojen aikana.

Yksi ilmeinen vastaväite on toimittajien monipuolisuus. Vaihtoehtoiset kiihtyvät ja järjestelmät, kuten erityisesti rakennettu wafere tai Cerebras-luokan laitteet, omaavat eri integrointipisteet ja voivat välttää NVLink-riippuvuuden. Suuret pilviceutrajat ovat jo sekoittaneet kiihtyviä tyyppisiä tuotannossa, mikä vähentää yhden toimittajan riskiä. Katso historiallisen esimerkin suuresta pilvikäytöstä vaihtoehtoisista kiihtyvyksistä kontekstissa Amazon käyttöönottaa Cerebras-teknologian 25 kertaa nopeammin kuin.

Päätösohje ja havainnot

Jos tarvitset jatkuvaa, ennakoitavaa suurta koulutuskapasiteettia ja käytät satoja hyllyjä, NVL72-polku alistaa yleensä ajon ajan ja energian kustannuksia per parametri. Jos tarpeesi ovat satunnaisia tai rajoittuvat kymmeneen hyllyyn, vuokraa ensin. Yhteiskäyttöpalvelujen tarjoajat tarjoavat väliasteita, mutta odota premium-hinta riittävälle teholle ja CDU-kapasiteetille.

Olemme havainneet kolme toistuvaa toimintatapaa tutkiessamme hyllymittakaavan NVL-järjestelmiä. Ensimmäinen, sähkösuunnittelu tulee projektiksi, ei hyllyksi. Toinen, ohjelmistotyökalut, jotka hyödyntävät hyllyntasolla olevaa NVLinkiä, ovat todellisten tuottavuushyötyjen este. Kolmas, asennus- ja huoltoaika on tärkeä, koska yhdellä epäonnistuneella hyllyllä voidaan estää usean hyllyn työ.

NVIDIA:n NVL72 muuttaa koulutusinfrastruktuurin painopistettä. Se suosii organisaatioita, jotka voivat investoida kampus- tai hyperskaalaiseen sähköön ja jäähdytykseen ja jotka suunnittelevat ohjelmistoa käyttäen tiukkoja kaikkia kaikkia linkkejä. Kaikille muille järkevä polku on vaiheittainen käyttöönotto: pilvi tai yhteiskäyttö alkuvaihteen koossa ja kohdennettu sitoumus vain silloin, kun käyttöaste pysyy korkeana ja ennakoitavana.