Vera Rubin NVL72: Келечектеги жооберүүлөр инфраструктурасы эмнесини билдирет

Vera Rubin NVL72, NVIDIAнын сервер деңгээлиндеги GPUлардын чектөөсүнө берген жообу: кошумча курулган, рәштилгиле машина, кабель татаалдыгын жашырып, 72 Rubin GPU жана 36 Vera CPUны бир Liquid-колдонуучу шассиге камтыйт, жана буларды рәштинде жүгүн бириктирет, ушундайча чоң моделдерди 1 ваттка керектүү ылдамдыкта иштетүүгө мүмкүндүк берет. Бул долбоор жооберүүлөрдүн экономикалык эсептерин өзгөртүп, булут, биргеликти же өз аппараттарыңызды сатып алууну таңдоо керек экендигин белгилейт.

Vera Rubin NVL72 текшерүү жана тармак жаңычылыктары

NVIDIAнын продукция веб-баракчалары жана сөлөкөт архитектура документтери конкреттүү өзгөрүүлөрдү эсептейт. GB300 NVL72 рәштиндеги 72 Rubin GPU жана 36 Grace/Vera CPU, рәштти тегерентүүчү 260 Тбайт/секундга жакын NVLink токуму бар, бул GPUнын ар биринин учун 3.6 Тбайт/секундга жакын бардык талаа жүгүн камсыздайт, жана узун сырткы кабелдерди жоюу үчүн ысык алмаштыргала турган NVLink өчүргүчтор. NVIDIA термелүү токендердин саны GB200 муунунан 10 эсеге көбөйгөнүн билдирет. Рәштин толук суусузданганын жана театр саны конфигурацияга жана жүгүңүзгө жараша 120дан 155 киловатка чейин болгон күч сандарын билдирген. Эч чегинен: NVIDIA NVL72 продукция жана өнүмдөрүнүн веб-баракчалары, HPE жана Lenovo GB300 документтери.

Сатып алууга практикалык соодалар

Эгер сиз гипер-скалер масштабы менен иштеп жатсаңыз, математик жеңил. Ар бир мегаватт үчүн жогорку натыйжалуулук энергия чыгымдарын азайтып, көп триллион параметрлерди жаттоо боюнча ирет убакытты кыскартат. NVLink токуму GPUлардын синхронизация овердроурду азайтып, катуу бириккен модель параллелдүү жумуш үчүн жаттоо үчүн сааттык убакытты төмөндөтөт. Эгер сиз булут болсо, бул өзүнчө маалымат борбору алаынын бирдикте көбүрөөк өткөрүп берүүгө негизделет.

Көйөрмөлөр жана лабораториялар үчүн соодалар сатып алуу чечимдерин кыйындатат. Аппараттар өзгөчөлөнгөн энергия таратууну, 50 вольт DC автобус ленталарын же бир нече 33 кВт электр жөкмөлөрүн, муздатылган суу же жабык цикл CDUluerді, ошондой эле суюк муунданган рәшт кызматында тажрыйбалуу персоналды талап кылат. Булар продукция алышат, бирок төмөн же кыскаใชа үчүн кыйынчылыкка алып келет.

Бир ачылыш каршы аргумент-тузуу берүү. Башка прискорительдер жана системалар, мисалы, атайын курулган жуманамалар же Cerebras-класстагы жабдуулар ар кандай интеграция чекитине ээ жана NVLink көз карашынан кача алышат. Чоң булут провайдерлери өндүрүштө ар түрдүү жүктөрдү жараткан, бул бир тараптуу коркунучту кыскартып. Башка прискорительдердин тарыхта альтернативалык колдонулушу үчүн угут мисалы, Amazon Cerebras технологиясын 25 эсе ылдамраак жаратат.

Чечим жетекчилиги жана байкоолор

Эгер сиз узак мөөнтө, алдын ала чоң масштабдагы жүктөө керек болсо, NVL72 мүчөлүгү, убакытты жана параметрлердин энергия чыгымын кыскартууну камсыздайт. Эгерде сиздин муктаждыктарыңыз туруктуу же ондон ашуун рәштке чектелсе, алгач ижарага алыңыз. Биргелик өндүрүүчүлөр тиешелүү энергия жана CDU сыйымдуулугу үчүн жогорку баада сунуш берет.

Рәшт масштабындагы NVL системаларын изилдөө учурунда үч кайталаган операциялык үлгүлөрдү байкадык. Биринчи, энергия долбоор менен, рәшт эмес. Экинчи, рәшт деңгээлинде NVLinkти пайдалануучу программалык жабдыктар реалдуу өткөрүп берүү артыкчылыктары үчүн чектөө факторы. Үчүнчү, орнотуу жана тейлөө ылдамдыгы маанилүү, анткени бир эле алмаштырылуучу рәшт көп рәшт жумушун токтотот.

NVIDIAнын NVL72 тренировканы инфраструктура үчүн борбордук тартуу горизонтальдарын өзгөртөт. Ал кампус же гиперскалер энергия жана муздатууга инвестициялаган уюмдарды артыкчылыктуу эсептейт, жана программаларды мыкты общиптешкен байланыштарды колдонууну пландашат. Башка бардык адамдары үчүн, ыйындуу жолу сатыкка жатат: биринчи масштаб үчүн булут же биргеликти колдонуу, жана жогорку пайдалануунун туруктуу болушу учурда гана атайын жергиликтүү суроо сунушталат.