베라 루빈 NVL72: 차세대 훈련 인프라가 의미하는 것

베라 루빈 NVL72는 서버 규모의 GPU 한계를 극복하기 위한 NVIDIA의 해답이다. 이 목적에 맞게 설계된 랙 규모의 기계는 케이블 복잡성을 숨기고, 72개의 루빈 GPU와 36개의 베라 CPU를 단일 액체 냉각 섀시에 담고 있으며, 랙 내부의 대역폭을 이동시켜 더 큰 모델이 와트당 더 빠르게 실행되도록 한다. 이러한 설계는 훈련 경제학의 수치를 변화시키며 클라우드, 콜로케이션, 자체 하드웨어 구매 사이의 명확한 선택을 강요한다.

베라 루빈 NVL72 하드웨어 및 네트워크 혁신

NVIDIA의 제품 페이지와 참조 아키텍처 문서는 구체적인 변화를 나열한다. GB300 NVL72 랙은 72개의 루빈 GPU와 36개의 그레이스/베라 CPU, 랙 전체에서 약 260 테라바이트의 속도로 작동하는 NVLink 패브릭이 포함되어 있으며, 이는 GPU당 약 3.6 테라바이트의 전방향 대역폭을 제공하고, 긴 외부 케이블을 제거하는 핫스와퍼블 NVLink 스위치 트레이를 갖추고 있다. NVIDIA는 이전의 GB200 세대와 비교해 메가와트당 최대 10배 더 많은 토큰을 처리할 수 있다고 주장한다. 이 랙은 완전히 액체 냉각되며, 일반적으로 인용되는 전력 수치는 구성 및 작업 부하에 따라 120~155 킬로와트 범위에서 운영된다. 따라서 시설 전력과 냉각이 주요 제약 조건이다. 출처: NVIDIA NVL72 제품 및 개발자 페이지, HPE 및 Lenovo GB300 문서.

구매자의 실용적인 절충안

하이퍼스케일 규모에서 운영한다면 수치는 간단하다. 메가와트당 더 높은 효율성은 에너지 지출을 줄이고 다중 조 단위 매개변수 훈련 실행의 벽면 시간을 줄인다. NVLink 패브릭은 GPU 간 동기화 오버헤드를 줄여 주며, 이는 밀접하게 결합된 모델 병렬 작업의 훈련 벽시계 시간을 감소시킨다. 클라우드인 경우, 이는 데이터 센터 베이당 더 많은 처리량으로 이어진다.

기업과 실험실의 경우, 이 점에서 투자 결정이 복잡해진다. 하드웨어는 맞춤형 전력 분배, 50볼트 DC 버스바 또는 여러 개의 33kW 전력 선반, 냉각수 또는 폐쇄 루프 CDU, 액체 냉각 랙 서비스에 숙련된 직원이 필요하다. 이러한 요소들은 성능을 가능하게 하지만 소규모 또는 변동 사용에 대해 감가상각하기 어려운 고정 시설 업그레이드를 추가한다.

명백한 반론은 벤더 다각화이다. 목적에 맞게 설계된 웨이퍼나 세레브라스 클래식 장비와 같은 대체 가속기 및 시스템은 다른 통합 지점을 갖고 NVLink 의존성을 피할 수 있다. 대형 클라우드 제공업체는 이미 생산에서 가속기 유형을 혼합하여 단일 공급업체 위험을 줄이고 있다. 역사적인 대체 가속기 대규모 클라우드 배포 사례를 보라 Amazon deploys Cerebras technology 25 times faster than.

결정 가이드 및 관찰한 교훈

지속적이고 예측 가능한 대규모 훈련 용량이 필요하고 수백 개의 랙을 운영하는 경우 NVL72 경로는 일반적으로 매개변수당 실행 시간과 에너지 비용을 낮출 것이다. 필요가 간헐적이거나 수십 개의 랙으로 제한된다면 먼저 임대하는 것을 고려하라. 콜로케이션 제공업체는 중간 지점을 제공할 것이지만, 충분한 전력 및 CDU 용량을 위해 프리미엄 가격을 예상해야 한다.

우리는 랙 규모의 NVL 시스템을 연구하면서 세 가지 반복적인 운영 패턴을 관찰했다. 첫째, 전력 설계가 프로젝트가 되며, 랙이 아니다. 둘째, 랙 수준 NVLink를 활용하는 소프트웨어 도구가 실제 처리량 증가의 주요 요인이다. 셋째, 설치 및 서비스 속도가 중요하다. 왜냐하면 단일 실패한 트레이가 다중 랙 작업을 중단시킬 수 있기 때문이다.

NVIDIA의 NVL72는 훈련 인프라의 중심을 변화시킨다. 이는 캠퍼스 또는 하이퍼스케일 전력 및 냉각에 투자할 수 있는 조직과 밀접한 전방향 링크를 활용할 소프트웨어를 계획하는 조직에 유리하다. 나머지 조직에겐 합리적인 경로는 단계적인 채택이다: 초기 규모를 위해 클라우드 또는 콜로케이션을 이용하고, 활용도가 높고 예측이 가능할 때만 타깃 온프레미스 약속을 한다.