Vera Rubin NVL72: Келесі ұрпақ оқу инфрақұрылымы дегеніміз не

Vera Rubin NVL72 NVIDIA-ның сервер-масштабты GPU шектеулеріне жауабы: жіп затының қысымын жасыратын, 72 Rubin GPU және 36 Vera CPU-ны бір сұйықтықпен салқындайтын шассиға жинайтын, және жүктемелерді тездету үшін диапазонды ішіне ауыстыратын мақсатты құрастырылған, рюкзактық машина. Бұл дизайн оқу экономикасының арифметикасын өзгертеді, сонымен қатар бұлт, колокация және сіздің жабдықты сатып алу арасында нақты таңдау жасауға мәжбүр етеді.

Vera Rubin NVL72 аппараттық және желілік инновациялар

NVIDIA-ның өнім беттері мен сілтеме архитектурасы құжаттамасы нақты өзгерістерді сипаттайды. GB300 NVL72 рюкасы 72 Rubin GPU және 36 Grace/Vera CPU-ны, рюкзак бойынша шамамен 260 терабайтты секундта өткізу қабілетін беретін NVLink мата, әр GPU-ға шамамен 3.6 терабайт секундта барлық-тасымал өткізу қабілетін қамтамасыз етеді, және ұзын сыртқы кабельдерді жоюға мүмкіндік беретін ыстық ауыстырылатын NVLink қосқыш тақталары бар. NVIDIA алдыңғы GB200 буынмен салыстырғанда мегаваттқа 10 есе көп токендерді көрсетуге мүмкіндік беретінін мәлімдейді. Рюкзак толықтай сұйық сілтімен салқындатылған және конфигурация мен жұмыс жүктемесіне байланысты 120-155 кВт диапазонында кеңінен жарияланған қуат көрсеткіштері жұмыс істейді, сондықтан құрал-жабдық қуаты мен салқындату бірінші деңгейлі шектеулер болып табылады. Дереккөздер: NVIDIA NVL72 өнім және әзірлеуші беттері, HPE және Lenovo GB300 құжаттамасы.

Сатып алушылар үшін практикалық сауда-экономикалық шешімдер

Егер сіз гиперсаскала масштабында жұмыс істесеңіз, математика қарапайым. Мегаваттпен жоғары тиімділік энергия шығындарын төмендетеді және мульти-триллион параметрлі жаттығу жұмыстарында қабырға уақытын азайтады. NVLink мата GPU-лар арасындағы синхрондау шығындарын азайтады, бұл модель параллель жұмысы үшін жаттығу қабырға сағат уақытын төмендетеді. Егер сіз бұлт болсаңыз, бұл деректер орталығының әр бөлігіндегі өту жылдамдығына айналады.

Кәсіпорындар мен зертханалар үшін сауда-экономикалық шешімдер сатып алу шешімдерін күрделендіреді. Аппараттың сұраныстары арнайы қуат тарату, 50 вольт DC автобус немесе бірнеше 33 кВт қуат сөрелерін, салқындатылған су немесе жабық шеңберлі CDU-ларды, және сұйық салқындату рюкзак қызметінде тәжірибелі қызметкерлерді талап етеді. Олар өнімділікті қамтамасыз етеді, бірақ потенциалды пайдалану аясында күрделендірілген алғашқы орын түсетін фиксирленген шығындарды қосады.

Бір айқын қарсы дәйек - жеткізушілердің әртүрлілігі. Арнайы көміртекті немесе Cerebras типті құрылғылар сияқты баламалы жеделдеткіштер мен жүйелер әр түрлі интеграция нүктелеріне ие және NVLink тәуелділігін болдырмауға мүмкіндік береді. Үлкен бұлт жеткізушілері өндірісте жеделдеткіш түрлерін араластырып қойған, бұл бір жеткізушінің тәуекелін төмендетеді. Контекст үшін баламалы жеделдеткіштерді тарихта қолдану мысалын қараңыз Amazon Cerebras технологиясын 25 есе жылдам қолданды.

Шешімдер нұсқаулығы және байқаулар

Егер сізге тұрақты, болжамды үлкен масштабтағы жаттығу қуаты қажет болса және сіз жүздеген рюктарда жұмыс істесеңіз, NVL72 жолы, әдетте, параметрлер бойынша жұмыс уақытын және энергия шығындарын төмендетеді. Егер сіздің қажеттіліктеріңіз ыждағатты немесе оншалықты қысымды рюктармен шектелсе, бірінші кезекте жалға алыңыз. Колокация жеткізушілері арасында орташа деңгейлерді ұсынатын болады, бірақ жеткілікті қуат пен CDU сыйымдылығы үшін бұдан тыс бағаны күтіңіз.

Біз рюкзактық NVL жүйелерін зерттеу барысында үш қайталанатын операциялық үлгілікті байқадық. Біріншіден, қуат дизайны жобаның өзі болады, рюкзак емес. Екіншіден, рюкзак деңгейіндегі NVLink пайдаланатын бағдарламалық құрал құралдары нақты өткізу пайдаларын арттыруда кедергі тудырады. Үшіншіден, орнату және қызмет көрсету жылдамдығы маңызды, себебі біреуі істен шыққан бөлім бірнеше рюкзактық жұмысты тоқтата алады.

NVIDIA-ның NVL72 білім инфрақұрылымының ауырлық центрін өзгерте отырып, университет немесе гиперсаскала қуаты мен салқындатуға инвестиция сала алатын ұйымдарды, сонымен қатар тығыз барлық-тасымал байланыстарды қолдануды жоспарлайтын ұйымдарды қолдайды. Басқа барлық адамдар үшін ақылға қонымды жол кезең-кезеңмен қабылдау болып табылады: алғашқы деңгей үшін бұлт немесе колокация, және пайдалану жоғары болғанда ғана жоспарланатын оп-ремнттық міндеттеме.