Vera Rubin NVL72: Keyin nima boʻladi

Vera Rubin NVL72 - bu NVIDIA tomonidan server o‘lchamidagi GPU'larning cheklovlariga javob: kabel murakkabligini yashiruvchi, 72 Rubin GPU va 36 Vera CPU'larni bitta suyuq sovutish chassisi ichiga joylashtiruvchi, va katta modellarning har wattga tezroq ishlashi uchun kengaytirilgan ichki kenglikni taqdim etuvchi maxsus ishlab chiqilgan, rack-o‘lchovidagi mashina. Ushbu dizayn, bulut, qo‘shilish va o‘z uskunangizni xarid qilish o‘rtasida qat’iy tanlovni kuchaytirar ekan, trening iqtisodiyoti arifmetikasini o‘zgartiradi.

Vera Rubin NVL72 uskunalari va tarmoq innovatsiyalari

NVIDIA mahsulot sahifalari va ma’lumotnomalarida aniq o'zgarishlar keltirilgan. GB300 NVL72 rack 72 Rubin GPU va 36 Grace/Vera CPU'larini o'z ichiga oladi, rack bo‘ylab taxminan 260 terabayt sekund tezlikka ega NVLink to‘qimasini o'z ichiga oladi, bu har bir GPU uchun 3.6 terabayt sekund kengligida ishlaydi, va uzoq tashqi kabellarni olib tashlaydigan issiq almashinuvi NVLink kalit traylari mavjud. NVIDIA, avvalgi GB200 avlodiga nisbatan megavatt uchun 10 baravar ko‘proq tokenlarni taqdim etishini iddao qilmoqda. Rack to‘liq suyuq sovutilgan va umumiy taqdim etilayotgan elektr energiyasi raqamlari konfiguratsiyaga va yuklamaga qarab 120 dan 155 kilovattgacha o‘zgaradi, shuning uchun inshootlar uchun elektr va sovutish birinchi darajali cheklovlardir. Manbalar: NVIDIA NVL72 mahsulot va ishlab chiquvchilar sahifalari, HPE va Lenovo GB300 hujjatlari.

Xaridorlar uchun amaliy savdo-sotiq

Agar siz giperskalida faoliyat yuritsangiz, hisob oddiy. Har megavattdagi yuqori samaradorlik energiya sarfini kamaytiradi va ko‘p trillionli parametrli treninglarning vaqtini qisqartiradi. NVLink to‘qimasi GPU'larga o‘rtasidagi sinxronizatsiya xarajatlarini pasaytiradi, bu esa modelsiz bog‘langan ishlar uchun trening vaqtining devor soatini qisqartiradi. Agar siz bulutsiz bo‘lsangiz, bu har bir ma’lumot markazi bayi uchun ko‘proq uzatishni anglatadi.

Katta korxonalar va laboratoriyalar uchun savdo-sotiq xarid qilish qarorlarini qiyinlashtiradi. Uskunalar maxsus elektr taqsimlashni, 50 volt DC avtobuslar yoki bir nechta 33 kW elektr tokli shkaflarni, sovuq suv yoki yopiq doira CDU'larni, va suyuq sovutish chassisi xizmatida tajribaga ega xodimlarni talab qiladi. Bular samaradorlikni ta’minlaydi, ammo kichik yoki tezkor foydalanishda amortizatsiya qiyin bo‘lgan ko‘rsatkichli inshoot yangilanishlarini qo‘shadi.

Bir asosiy qarshi dalil - sotuvchilarni xilma-xil qilishdir. Maxsus ishlab chiqilgan wafers yoki Cerebras sinfidagi qurilmalar kabi alternativ tezlatgichlar va tizimlar boshqa integratsiya nuqtalariga ega va NVLink ga bog‘liq bo‘lmasligi mumkin. Katta bulut provayderlari ishlab chiqarishda bir nechta tezlatgich turlarini allaqachon aralashtirdilar, bu esa bitta sotuvchining xavfini kamaytiradi. Kontekst uchun alternativ tezlatgichlarning katta bulutlar tomonidan tarqatilishi bo‘yicha tarixiy misolni ko‘ring Amazon Cerebras texnologiyasini 25 barobar tezroq joylashtiradi.

Qaror berish qo‘llanmasi va kuzatilgan saboqlar

Agar siz uzoq muddatli, bashorat qilinadigan katta miqdordagi trening imkoniyatiga muhtoj bo‘lsangiz va yuzlab racklar bilan faoliyat yuritsangiz, NVL72 yo‘li odatda parametrlar uchun ishlash va energiya xarajatlarini kamaytiradi. Agar sizning ehtiyojlaringiz intermitent yoki o‘nlab racklarga cheklangan bo‘lsa, avval ijaraga oling. Qo‘shilish provayderlari o‘rta nuqtalarni taklif qiladi, ammo yetarli quvvat va CDU imkoniyatlari uchun yuqori narxga tayyor bo‘lishingiz kerak.

Rack-o‘lchovidagi NVL tizimlarini o‘rganayotganda uchta takrorlanuvchi operatsion naqshlarni kuzatdik. Birinchidan, quvvat dizayni loyiha bo‘lib qoladi, rack emas. Ikkinchidan, rack darajasidagi NVLinkdan foydalanadigan dasturiy vositalar haqiqiy uzatish oshirishlari uchun asosiy omil hisoblanadi. Uchinchidan, o‘rnatish va xizmat ko‘rsatish tezligi ahamiyatga ega, chunki bitta muvaffaqiyatsiz tray ko‘p rackli ishni to‘xtatishi mumkin.

NVIDIA’ning NVL72 - trening infratuzilmasi uchun og‘irlik markazini o‘zgartiradi. Bu kampus yoki giperskalali quvvat va sovutishga sarmoya kiritoladigan tashkilotlarni afzal ko‘radi va barcha bilan bog‘lanish uchun dasturiy ta’minotni rejalashtiradi. Boshqalar uchun ma’qul yo‘l bosqichma-bosqich qabul: dastlabki miqyos uchun bulut yoki qo‘shilish va foydalanish yuqori va bashorat qilinadigan bo‘lganda faqat maqsadli joyda majburiyatni qabul qilish.