Vera Rubin NVL72: Дараачийн үеийн сургалтын инфра бүтэц юу гэсэн үг вэ

Vera Rubin NVL72 нь NVIDIA-ийн серверийн хэмжээний GPU-ийн хязгаарлалтанд хариулав: утасны товчлолыг нуусан, 72 Rubin GPU болон 36 Vera CPU-ийг нэг шингэн хөргөгч шанага руу багтаасан зорилтот rack хэмжээний машин бөгөөд өргөдлийн болон бүрэн загваруудыг дотооддоо түргэн гүйцэтгэх боломжийг олгодог. Энэ загвар сургалтын эдийн засгийн арифметикыг өөрчилж, cloud, colocation ба өөрийнхөө төхөөрөмжийг худалдаж авах хооронд илүү тод сонголт хийхийг шаарддаг.

Vera Rubin NVL72 тоног төхөөрөмж ба сүлжээний шин inventions

NVIDIA-ийн бүтээгдэхүүнийг танилцуулж буй хуудсууд болон лавлах архитектурын баримт бичгүүд нь тодорхой өөрчлөлтүүдийг тоочиж байна. GB300 NVL72 rack нь 72 Rubin GPU ба 36 Grace/Vera CPU-ыг агуулж, rack-ийн хэмжээнд ойролцоогоор 260 терабит/секунд тайлбарласан NVLink даавуу байна. Энэ нь GPU бүрийн хувьд нийт бие биенээсээ 3.6 терабит/секундийн даавуун байрлалтай байдаг бөгөөд урт гадаад кабелийн дызайныг устгах боломжийг олгож, халуун солих NVLink идэвхжүүлэгч шанагаар илэрхийлнэ. NVIDIA нь өмнөх GB200 үеийнхтэй харьцуулахад мегаватт тутамд 10 дахин их тасалдал олход потенциалтай байгаа гэж мэдэгдэж байна. Rack нь бүрэн шингэн хөргөгч бөгөөд тохиолдлоос хамааран 120-155 кВт-ын дундаж хүчний хэмжээ ихэвчлэн яригддаг, иймээс байгууламжийн цахилгаан болон хөргөлт нь анхны хүчин зүйлс юм. Эх үүсвэрүүд: NVIDIA NVL72 бүтээгдэхүүн болон хөгжүүлэгчийн хуудсууд, HPE болон Lenovo GB300 баримт бичгүүд.

Худалдан авагчаас практик сонголт

Хэрэв та гиперскейл хэмжээнд үйл ажиллагаа явуулж байвал математикийн хувьд хялбар. Мегаватт тутамд өндөр үр ашиг нь эрчим хүчний зарцуулалтыг багасгаж, олон триллион параметрийн сургалтын хугацааг хурдасгадаг. NVLink даавуу нь GPU-уудын хоорондын синхрончлолын зардлыг бууруулж, загваруудын параллель ажилд сургалтын цагийг бууруулдаг. Хэрэв та cloud бол энэ нь өгөгдлийн төвийн булан бүрт илүү нарийвчилсан чадвартай болж хувирна.

Аж ахуйн нэгжүүд болон лабораторуудын хувьд сонголтууд эзэмших шийдвэрийг төвөгтэй болгож байна. Тоног төхөөрөмж нь тусгай цахилгаан хуваарилалт, 50 вольт DC busbars эсвэл хэд хэдэн 33 кВт-ийн цахилгаан шүүгээ, хөлдүү ус эсвэл зам замын CDUs шаарддаг бөгөөд шингэн хөргөх rack үйлчилгээний туршлагатай ажилтнуудыг шаарддаг. Эдгээр нь гүйцэтгэлийг сайжруулдаг боловч жижиг эсвэл хэлбэлзэлтэй ашиглалтын доогуур дор хаяж бэрхшээл гаргадаг.

Нэг илэрхий эсэргүүцэл нь худалдан авагчдын төрөлжсөн. Зорилтот wafer эсвэл Cerebras зэрэг системүүдийн хооронд өөрчлөгддөг интеграцийн цэгүүд байгаа бөгөөд NVLink-ийн хамаарлаас зайлсхийж болно. Том cloud үйлчилгээ үзүүлэгчид үйлдвэрлэлийн хэмжээний коэффициентүүдийг холимог хосолсон, энэ нь ганц нийлүүлэгчийн эрсдлийг багасгадаг. Альтернатив нялгын соёогийн урсгалыг оруулах цуглуулгад гэрчилгээ бүхий жишээг үзнэ үү Amazon Cerebras технологи 25 дахин хурдасган явуулсан.

Шийдвэрийн гарын авлага ба таньсан сургамжууд

Хэрэв та тогтмол, таамаглаж болох төсөвтэй томоохон сургалтын чадавхи хэрэгтэй бол NVL72 зам нь ихэнхдээ ажиллагааны хугацаа болон параметр бүрийн энергийн зардлыг бууруулна. Хэрэв таны хэрэгцээ үл хөдлөх эсвэл хэд хэдэн rack-т зориулсан бол түрээслэх. Colocation үйлчилгээ үзүүлэгчид дундын цэгүүдийг санал болгох боловч хүчтэй болон CDU чадавхитай хангалттай үнэ төлбөрийг хүлээж аваарай.

Rack хэмжээн дэх NVL системүүдийг судлах явцад гурван давтагдсан үйл явцын загварыг бид ажигласан. Нэгд, эрчим хүчний загвар бол төслийн төв, rack биш. Хоёрт, rack-ийн NVLink-ийг ашигладаг программ хангамжийн хэрэгслүүд нь бодитоор throughput-ийн ашиг шимийг гаргахын тулд тохируулна. Гуравт, суулгалт, үйлчилгээний хурд чухал учраас ганц удаа алдаж буй шанага олон rack-ийн ажиллахыг зогсоож болно.

NVIDIA-ийн NVL72 нь сургалтын инфра бүтцийн төвийн жинлэгийг өөрчилж байна. Энэ нь кампус эсвэл гиперскейл эрчим хүч ба хөргөхөд хөрөнгө оруулж чадах байгууллагуудад давуу эрх олгодог бөгөөд бүх түвшний холбоосыг ашиглах программ хангамжийг төлөвлөдөг. Бусдын хувьд ухаалаг зам нь шаталсан хуваарилалтаар явдаг: эхлээд cloud эсвэл colocation-д анхны хэмжээ болон ашиглалт өндөр, таамаглах боломжтой үед цэгчилсэн онлайнаар ажлын үүрэг.