Vera Rubin NVL72: Што значи инфраструктура за обука следна генерација

Vera Rubin NVL72 е одговорот на NVIDIA на ограничувањата на серверските GPU: машина изградена со цел, со рачна големина која ја крие комплексноста на каблите, става 72 Rubin GPU и 36 Vera CPU во единечен шасиен систем со течна обложка и ја префрла пропусноста внатре во ракот за да поголемите модели работат побрзо по вати. Тој дизајн ги менува математиката на економијата на обука, додека принудува поостар избор помеѓу облак, колокација и купување на сопствена хардверска опрема.

Иновации во хардверот и мрежата на Vera Rubin NVL72

Страниците на производот на NVIDIA и документацијата за референтна архитектура наведуваат конкретни промени. GB300 NVL72 ракот содржи 72 Rubin GPU и 36 Grace/Vera CPU, NVLink ткаенина оценета на приближно 260 терабајти на секунда низ ракот што излезе на околу 3.6 терабајти на секунда на сите на сите пропусности по GPU, и треи со заменливи NVLink прекинувачи кои ги отстрануваат долгите надворешни кабли. NVIDIA тврди дека се до 10 пати повеќе токени по мегават во споредба со претходната генерација GB200. Ракот е целосно течен охладуван и вообичаените фигури за моќност се движат во опсегот од 120 до 155 киловат во зависност од конфигурацијата и оптоварувањата, па енергијата и охладувањето на објектот се први ред ограничувања. Извори: NVIDIA NVL72 производни и развојни страници, HPE и Lenovo GB300 документација.

Практични компромиси за купувачи

Ако работите на хиперскалерска скала, математиката е проста. Поголема ефикасност по мегават ги намалува трошоците за енергија и ја намалува времето на чекање за обуки со параметри од неколку трилиони. NVLink ткаенината ги намалува трошоците за синхронизација помеѓу GPU, што го намалува времето на часовникот за обука за тесно поврзана модел-паралелна работа. Ако сте облак, тоа се трансформира во поголем throughput по просторијата на дата центарот.

За enterprises и лаборатории компромисите го комплицираат одлуките за аквизиција. Хардверот бара специјално дистрибуција на енергија, 50 волти DC busbars или повеќе 33 kW енергетски полици, охладена вода или затворени CDUs и вработени со искуство во сервисирањето на течни охладувани ракови. Тие овозможуваат перформанси, но додаваат фиксни надградби на објектот кои е тешко да се амортизираат под мали или пекодични употреби.

Еден очигледен контрааргумент е диверзификацијата на добавувачи. Алтернативни акцелератори и системи, како што се призначени чипови или апарати од класата Cerebras, имаат различни интеграции и можат да избегнат зависноста од NVLink. Големите провајдери на облак веќе мешаат видови на акцелератори во продукцијата, што ја намалува ризикот од единечен добавувач. Види ист историски пример на големи облачни распоредувања на алтернативни акцелератори за контекст Amazon распоредува Cerebras технологија 25 пати побрзо од.

Упатство за одлука и забележани лекции

Ако ви е потребна одржана, предвидлива капацитет за обука на голема скала и работите со стотици ракови, патот NVL72 обично ќе намали времето на работа и трошоците за енергија по параметар. Ако вашите потреби се повремени или ограничени на десетици ракови, прво изнајмете. Провајдерите на колокации ќе понудат средни точки, но очекувајте премиум цени за доволна моќ и капацитет на CDU.

Набљудувавме три повторливи оперативни образци додека студиравме системите NVL на ниво на рак. Прво, дизајнот на моќноста станува проект, а не ракот. Второ, софтверски алатки кои експлоатуваат NVLink на ниво на рак се факторот за вистински придобивки од производството. Трето, брзината на инсталирање и сервисирање е важна бидејќи еден неуспешен треј може да сопре работа на мулти-рак.

NVIDIA NVL72 го менува центарот на гравитацијата за инфраструктура за обука. Ги фаворизира организациите кои можат да инвестираат во моќ и охладување на кампус или хиперскала и кои планираат софтвер за користење на тесни врски од сите на сите. За сите други, разумниот пат е стадирана усвојување: облак или колокација за почетна скала и целен обврзување само кога искористувањето останува високо и предвидливо.