Vera Rubin NVL72: အဆင့်မီလေ့ကျင့်မှုအ infraestrutura ကိုဘာဆိုလိုသလဲ

Vera Rubin NVL72 သည် NVIDIA ၏ server-scale GPUs အပေါ်ကန့်သတ်ချက်များကို ဖြေရှင်းသောနည်းလမ်းဖြစ်သည်။ Cable ကုန်ကျစရိတ်ကိုမှုပြုထားသော၊ 72 Rubin GPUs နှင့် 36 Vera CPUs များကို တစ်ခုတည်းသော အားပေးရေမှန်စက်စင်ထဲတွင် ထည့်သွင်းထားပြီး rack အတွင်း bandwidth ကို လွှာပေးခြင်းဖြင့် အကြီးမားသော မော်ဒယ်များကို watt တစ်ချို့နဲ့ အရှိန်မြှင့်တင်စွာပြေးဆွဲနိုင်သည်။ ဒီဒီဇိုင်းသည် သင်၏ cloud, colocation နှင့် သင့်ရဲ့ hardware ကိုဝယ်ယူရမည့်ရွေးချယ်ချက်မကြာခဏကို မေ့လျော့စေသည်။

Vera Rubin NVL72 ၏ ကင်မရာနှင့်ကွန်ယက် ထုတ်လုပ်မှုများ

NVIDIA ၏ ထုတ်ကုန်စာမျက်နှာများနှင့် သမိုင်းရည်ညွှန်းတင်ပြချက်များသည် အမှန်တကယ် ပြောင်းလဲမှုများကို ဖော်ပြပါသည်။ GB300 NVL72 rack တွင် 72 Rubin GPUs နှင့် 36 Grace/Vera CPUs များ, rack အတိုင်း NVLink fabric က roughly 260 terabytes per second အကြောင်းပြန်စပ်ထားသည်၊ GPU တစ်ခုစီအတွက် 3.6 terabytes per second အထိ bandwidth ရရှိမည်ဖြစ်သည်၊ ထို့အပြင်၊ ရှည်လျားသော အပြင်ကုန်ကြောင်းများကို ဖယ်ရှားပေးသော hot-swappable NVLink switch trays ပါရှိသည်။ NVIDIA ၏ တင်ပြချက်အရ ယခင် GB200 รุ่นနှင့်နှိုင်းယှဉ်ပါက megawatt နှစ်ဆဖို့ မီတာအရေတွက် token များကို ၁၀ ဆထက်ပိုရှိသည်။ Rack သည် အပြုံးပိုင်းဆိုင်ရာ အပြုံးဖြင့် ဖြန့်ဖြူးပြီး သာမန်အတိုင်းပစ္စည်းများသည် 120 ကီလိုဝက်မှ 155 ကီလိုဝက်အကြားရှိပါတယ်၊ ဒါကြောင့် အဆောက်အအုံ၏စွမ်းအင်နှင့် အအေးရန်အပျိုးများသည် အဆင့်ရှိရာကာကွယ်မှုဖြစ်သည်။ သင်ရင်းနှီးမြှုပ်နှံထားသော အရင်းအနှီးများတွင် NVIDIA NVL72 ထုတ်ကုန်နှင့် Developer ၏စာမျက်နှာများ၊ HPE နှင့် Lenovo GB300 စာတမ်းများပါဝင်သည်။

ဝယ်သူများအတွက် အကျိုးအမြတ်များ

Hyperscaler အဆင့်တွင် လည်ချက်များကို ရိုးရှင်းသော စူးသည်။ megawatt တစ်ခုစီ၏ ကျွန်ုပ်တို့သော့ကို ငွေကြေးများသည် စွမ်းအင်ကုန်ကျမှုကိုလျှော့ချပေးပြီး multi-trillion parameter training runs များအတွက် wall time ကိုလျှော့ချသည်။ NVLink fabric သည် inter-GPU synchronization overhead ကို လျှော့ချခြင်းဖြင့် တလျှောက်တည်း မော်ဒယ်များနှင့် ပရာလာရိုက်ကူးပြီး wall clock time ကို လျှော့ချပေးသည်။ သင်သည် cloud ဖြစ်ပါက၊ ၎င်းသည် data center bay တစ်ခုစီအတွက် throughput ပိုကြီးသည်။

Enterprise နဲ့ lab များအတွက် ရစ်ရှယ့်ချိန်များသည် ဝယ်ယူမှုဆုံးဖြတ်မှုများကို မရှင်းလင်းမှုများစေသည်။ Hardware သည် bespoke power distribution, 50 volt DC busbars သို့မဟုတ် 33 kW power shelves များ, chilled water သို့မဟုတ် closed-loop CDUs များကို လိုအပ်ပြီး liquid-cooled rack service တွင် အကျွမ်းကျင်ရှိသော အလုပ်သမားများကို လိုအပ်သည်။ အတွဲမော်ဒယ်များကို ရောင်ခြည်ပေးရန် အထူးသဘောရရှိပါသည်။ ၎င်းသည် စွမ်းဆောင်ရည်ကို ပရိုမိုးရှင်ခံရရန် သို့မဟုတ် ဒေါ် ပါးပါးလုံးငြင်းပြီး လက်မှတ်ရစွာနှင့် အစားပြောင်းဘို့ ကြိုးစားပါသည်။

သရုပ်ပြချက်နှစ် ခုခံထားမည့် ။ vendor diversification ရေမွေးမှု အန်တီ မြင်ကြသည်။ မြန်ဆန်သော processor နှင့် စနစ်များ၊ purpose-built wafers သို့မဟုတ် Cerebras-class appliances များမှာ No-Dependency ဖြစ်လိမ့်မည်။ ထိုကြောင့် အကြီးအကျယ် cloud providers များသည် ဖက်ကြိုးထားသော စကတန်ထားထားသော hardware များကို အများအပြားတွင် ကုန်ကျစရိတ်ဖြစ်ကာ single-vendor အာဒင်းကို လျှော့ချပေးသည်။ နောက်ထပ် လက်တွေ့စာရင်းကိုမြင်ပါ Amazon deploys Cerebras technology 25 times faster than။

ဆုံးဖြစ်နှင့် သင်ယူချက်များ

သင်မှာ အချိန်တပြိုင်နက် ရာနှုန်းမြှင့်တင်ခြင်းမရှိ၊ ရင်ခြည်လက်ခံရသော training capacity မှာ အန္တရာယ်ရှိသော racks အနည်းများရှိသော်လည်း NVL72 များသည် ရာနှုန်းမြှင့်တင်ရန် လည်ချုပ်ရာတွင် အချိန်အနည်းဆုံးနှင့် စွမ်းအင်ကုန်ကျမှုကို လျှော့ပြောင်းသည်။ သင်၏ လိုအပ်ချက်များသည် အချိန်မရှိပါက 50 racks ဝယ်ယူရန် ပထမဦးဆုံး အစ်မစ်ဝယ်ယူမှုကို ခွင့်ပြုပါ။ Colocation ပံ့ပိုးပိုးများသည် midpoints ကို ပံ့ပိုးပေးသော်လည်း ၊ စွမ်းအင်နှင့် CDU ရရောက်ခွင့်များအတွက် premium pricing များကို ကြံစည်ပါစေ။

ကျွန်ုပ်တို့သည် rack-scale NVL စနစ်များကို လေ့လာလုပ်သည့်အခါ၊ လည်ဖြေရှီဖြန်သည်၊ စွမ်းအင်ဒီဇိုင်းသည် ရွေးချယ်မှုတစ်ခုဖြစ်သည်။ Rack-level NVLink ကို အက်ပေါ်နှင့် software tooling ကို အထောက်အထားပေးသည်။ တစ်ခုသော failed tray မှ တစ်ခုသည် multi-rack job ကို ပိတ်ခိုက်စေမည်။

NVIDIA ၏ NVL72 သည် training infrastructure ၏ အလျောက် နေရာချကာ ပြောင်းလဲစေသည်။ ၎င်းသည် ဆံချည်ဝါဒီ ကို သွားရတွေ့လာသောအချို့၊ hyperscale power ထပ်မှုကို ရန်နှီးသည်။ နှင့် software ကို မော်ဒယ်လည်း tight all-to-all links ဖြင့် ရွေးချယ်ပေးပါ။ အခြားသောသူများအတွက် သင့်လျော်သော နည်းလမ်းသည် stage adoption: cloud သို့မဟုတ် colocation ကို ပထမဆုံး ဖွင့်ချင်ပိုင်းထားခြင်းနှင့် utilization သင့်လျော်စွာ တစ်ဆင့်မှန်ရောက်မည်။