Vera Rubin NVL72: Mida tähendab järgmise põlvkonna õpetamisinfraktor

Vera Rubin NVL72 on NVIDIA vastus serveri ulatuse GPU-de piirangutele: spetsiaalselt ehitatud, rack-suuruses masin, mis peidab kaablite keerukuse, pakib 72 Rubin GPU-d ja 36 Vera CPU-d ühe vedelikjahutusega šassiisse, ning viib ribalaiuse rack'i sisse, et suuremad mudelid töötaksid wattide kohta kiiremini. See disain muudab treenimise majanduse aritmeetikat, sundides teravamat valikut pilve, koha jagamist ja enda riistvara ostmist.

Vera Rubin NVL72 riistvara ja võrguuudised

NVIDIA toote lehed ja viidatud arhitektuuri dokumentatsioon loetlevad konkreetsed muudatused. GB300 NVL72 rack sisaldab 72 Rubin GPU-d ja 36 Grace/Vera CPU-d, NVLink-i kangas on hinnatud umbes 260 terabaiti sekundis kogu rack'i ulatuses, mis teeb kokku umbes 3,6 terabaiti sekundis GPU kohta, ning kuumakindlad NVLink lüliti trays, mis eemaldavad pikad välist kaablid. NVIDIA väidab, et saadakse kuni 10 korda rohkem tokenit megavati kohta võrreldes varasema GB200 põlvkonnaga. Rack on täielikult vedelikjahutatud ja tavaliselt tsiteeritud võimsuse numbrid jäävad 120 kuni 155 kilovati vahemikku sõltuvalt konfiguratsioonist ja töökoormusest, seega on rajatise energia ja jahutamine esmaklassilised piirangud. Allikad: NVIDIA NVL72 toote ja arendaja lehed, HPE ja Lenovo GB300 dokumentatsioon.

Praktilised kaalukausid ostjatele

Kui tegutsete hüperkaalas, on arvutus lihtne. Suurem efektiivsus megavati kohta vähendab energiatootmise kulusid ja vähendab seina aega mitme triljoni parameetri treeningtööde jaoks. NVLink kangas vähendab GPU-de vahelise sünkroniseerimise ülepead, mis vähendab treeningu seina kella aega tihedalt seotud mudelinäituse jaoks. Kui olete pilves, tähendab see rohkem läbilaskevõimet iga andmekeskuse laos.

Ettevõtete ja laborite jaoks muudavad kaalukausid omandamisotsused keerulisemaks. Riistvara nõuab eritellimusel voolujagamist, 50 voldise DC bussi või mitmeid 33 kW toiteshelves, jahutusvett või suletud tsüklilisi CDU-sid, ning kogemustega töötajaid vedelikjahutusega rack-teenustes. Need võimaldavad paremat jõudlust, kuid lisavad fikseeritud rajatise uuendusi, mida on raske väikeses või katkendlikus kasutuses ammortiseerida.

Üks ilmne vastuväide on tarnijate mitmekesistamine. Alternatiivsed kiirendid ja süsteemid, nagu spetsiaalselt ehitatud vaftid või Cerebras-klassi aparaadid, on erinevate integreerimispunktidega ja võivad vältida NVLink sõltuvust. Suured pilveteenuse pakkujad on juba tootmises seganud erinevaid kiirendite tüüpe, mis vähendab ühe tarnija riski. Vaadake ajaloolist näidet suurtest pilvereostustest alternatiivsete kiirendite kohta konteksti jaoks Amazon rakendab Cerebras-tehnoloogiat 25 korda kiiremini kui.

Otsustusjuhend ja õpitud õppetunnid

Kui vajate püsivat, ennustatavat suurte treeninguvõimsust ja töötate sadade rackidega, siis NVL72 tee vähendab tavaliselt käitusaega ja energia maksumust parameetri kohta. Kui teie vajadused on katkendlikud või piiratud tosinaga rackidega, siis rentige esmalt. Koha jagamise pakkujad pakuvad keskkohti, kuid oodake piisava võimsuse ja CDU võimsuse osas kallist hinnakujundust.

Oleme uurimise käigus täheldanud kolme korduvat operatiivset mustrit rack-suuruses NVL süsteemide suhtes. Esiteks, energia disain muutub projektiks, mitte rackiks. Teiseks, rakendustooting, mis kasutab rack-tasandi NVLink-i, on tegelike läbilaskevõimetasu takistav tegur. Kolmandaks, paigaldamise ja teenindamise kiirus on oluline, sest üks ebaõnnestunud tray võib peatada mitme rack'i töö.

NVIDIA NVL72 muudab treeninginfrastruktuuri gravitatsioonikeskme. See soosib organisatsioone, kes saavad investeerida ülikoolilinna või hüperkaalu energiase ja jahutusse ning kes plaanivad tarkvara, et kasutada tihedaid kõigile-ainult linke. Kõikide teiste jaoks on mõistlik tee etappide võtmiseks: pilv või koha jagamine algse skaala jaoks ning sihtotstarbeline kohaliku pühendumise tegemine alles siis, kui kasutamine jääb kõrgeks ja ennustatavaks.