Vera Rubin NVL72: Növbəti nəsil təlim infrastrukturası nə deməkdir

Vera Rubin NVL72 NVIDIA-nın server miqyaslı GPU-ların sərhədlərinə verdiyi cavabdır: kabel mürəkkəbliyini gizlədən, 72 Rubin GPU və 36 Vera CPU-nu birlikdə su soyutmalı şassidə sıxışdıran, və bant genişliyini şassinin içində hərəkət etdirən xüsusi hazırlanmış rack-miqyaslı maşındır ki, bu da daha böyük modellərin daha sürətli işləməsini təmin edir. Bu dizayn təlim iqtisadiyyatının hesablamalarını dəyişdirməkdədir, eyni zamanda bulud, əməkdaşlıq və öz avadanlığınızı almaq arasında daha sərt bir seçim etməyə məcbur edir.

Vera Rubin NVL72 hardware və şəbəkə yenilikləri

NVIDIA-nın məhsul səhifələri və istinad memarlığı sənədləri konkret dəyişiklikləri sadalayır. GB300 NVL72 rack-ı 72 Rubin GPU və 36 Grace/Vera CPU daxildir, rack boyunca təxminən 260 terabayt/saat sürətində NVLink toxuması yerləşir ki, bu da hər GPU üçün təxminən 3.6 terabayt/saat bütün-bütün bant genişliyi deməkdir, və uzun xarici kabelləri aradan qaldıran isti-çıxarıla bilən NVLink açar tray-ları vardır. NVIDIA əvvəlki GB200 nəsli ilə müqayisədə bir meqavat üçün 10 dəfə daha çox token iddia edir. Rack tamamilə su ilə soyudulur və ümumiyyətlə təqdim olunan enerji rəqəmləri konfiqurasiya və yükə görə 120 ilə 155 kilovatt arasında dəyişir, buna görə də obyektin elektri və soyutma əsas məhdudiyyətlərdir. Mənbələr: NVIDIA NVL72 məhsul və inkişafçı səhifələri, HPE və Lenovo GB300 sənədləri.

Alıcılar üçün praktiki ticarət mübadilələri

Əgər siz böyük miqyasda fəaliyyət göstərirsinizsə, hesablar sadədir. Hər meqavat üçün daha yüksək səmərəlilik enerji xərclərini azaldır və trilyon parametrli təlim proseslərinin zamanını qısaldır. NVLink toxuması GPU-lar arası sinxronizasiya xərclərini azaldır ki, bu da sıx bağlı model paralel işləri üçün təlim saat vaxtını aşağı salır. Əgər siz bir bulud operatorusunuzsa, bu sizin mərkəzi məlumat bazanızda daha çox dövriyyəyə çevrilir.

Şirkətlər və laboratoriyalar üçün mübadilələr satınalma qərarlarını mürəkkəbləşdirir. Avadanlıq xüsusi enerji paylama sistemləri, 50 voltluq DC avtobusları və ya bir neçə 33 kW güc bankaları, soyudulmuş su və ya bağlı dövr CDU-ları, və maye soyudulmuş rack xidmətinə təcrübəli işçi tələb edir. Bunlar performansı artırır, lakin kiçik və dəyişkən istifadələr altında amortizasiya etmək çətin olan sabit obyekt yenilikləri əlavə edir.

Bir açıq əks arqument təchizatçı diversifikasiyasıdır. Alternativ sürətləndiricilər və sistemlər, məsələn, xüsusi hazırlanmış lövhələr və ya Cerebras tipli cihazlar NVLink asılılığını aşaraq fərqli inteqrasiya nöqtələrinə sahib ola bilər. Böyük bulud təminatçıları artıq istehsalda sürətləndirici növlərini qarışdırmışlar ki, bu da tək təchizatçı riskini azaldır. Konteks üçün alternativ sürətləndiricilərin böyük bulud yerləşdirmələri ilə bağlı tarixi nümunəyə baxın Amazon Cerebras texnologiyasını 25 dəfə daha sürətli yerləşdirir.

Qərar bələdçisi və müşahidə edilən dərslər

Əgər sizə davamlı, proqnozlaşdırıla bilən geniş miqyaslı təlim qabiliyyəti lazımdırsa və yüzlərlə rack-da fəaliyyət göstərirsinizsə, NVL72 yolu adətən parametr başına iş prosesi və enerji xərcini aşağı salır. Əgər ehtiyaclarınız aralıdırsa və ya onlarla rack-a məhdudlaşıbsa, əvvəlcə icarə götürün. Əməkdaşlıq təminatçıları ortaq nöqtələr təklif edəcəklər, lakin kifayət qədər enerji və CDU qabiliyyəti üçün premium qiymətlər gözləyin.

Biz rack-miqyaslı NVL sistemlərini öyrənərkən üç təkrarlanan əməliyyat nümunəsi müşahidə etdik. Birincisi, enerji dizaynı layihə olur, rack deyil. İkincisi, rack səviyyəsində NVLink-dən istifadə edən proqram alətləri real dövriyyə artımı üçün məhdudlaşdırıcı amildir. Üçüncüsü, quraşdırma və xidmət sürəti əhəmiyyətlidir, çünki bir uğursuz tray bir çox rack işini dayandıra bilər.

NVIDIA-nın NVL72 təlim infrastrukturu üçün cazibədar mərkəz dəyişir. O, kampus və ya böyük miqyaslı enerji və soyutmaya investisiya edə bilən təşkilatlara üstünlük verir və sıx bir-birinə bağlı əlaqələrdən istifadə edən proqram planlayır. Digər hər kəs üçün məqbul yol mərhələli qəbul vasitəsidir: ilkin miqyas üçün bulud və ya əməkdaşlıq, və yalnız istifadə yüksək və proqnozlaşdırıla biləndə hədəflənmiş daxili öhdəlik.