Vera Rubin NVL72: Was die nächste Generation der Trainingsinfrastruktur bedeutet

Vera Rubin NVL72 ist NVIDIAs Antwort auf die Grenzen von serverbasierten GPUs: eine speziell entwickelte, rackbasierte Maschine, die die Kabelkomplexität verbirgt, 72 Rubin-GPUs und 36 Vera-CPUs in einem einzigen flüssigkeitsgekühlten Gehäuse unterbringt und die Bandbreite innerhalb des Racks verschiebt, sodass größere Modelle schneller pro Watt laufen. Dieses Design verändert die Mathematik der Trainingsökonomie und zwingt zu einer schärferen Entscheidung zwischen Cloud, Co-Location und dem Kauf eigener Hardware.

Hardware- und Netzwerkinnovationen der Vera Rubin NVL72

NVIDIAs Produktseiten und Dokumentationen zur Referenzarchitektur listen die konkreten Änderungen auf. Ein GB300 NVL72 Rack enthält 72 Rubin-GPUs und 36 Grace/Vera-CPUs, eine NVLink-Architektur mit einer Rate von etwa 260 Terabyte pro Sekunde im gesamten Rack, was etwa 3,6 Terabyte pro Sekunde an All-to-All-Bandbreite pro GPU ergibt, und hot-swap-fähige NVLink-Schaltertrays, die lange externe Kabel entfernen. NVIDIA behauptet, dass bis zu 10-mal mehr Tokens pro Megawatt im Vergleich zur vorherigen GB200-Generation erzielt werden können. Das Rack ist vollständig flüssigkeitsgekühlt und die üblichen Leistungszahlen liegen je nach Konfiguration und Arbeitslast im Bereich von 120 bis 155 Kilowatt, sodass die Strom- und Kühlanforderungen grundlegende Einschränkungen darstellen. Quellen: NVIDIA NVL72 Produkt- und Entwicklersseiten, HPE und Lenovo GB300 Dokumentation.

Praktische Trade-offs für Käufer

Wenn Sie im Hyperscaler-Maßstab tätig sind, ist die Mathematik einfach. Höhere Effizienz pro Megawatt reduziert Energiekosten und verkürzt die Wandzeit für Multi-Billionen-Parameter-Training. Die NVLink-Architektur verringert die inter-GPU-Synchronisationsüberlastung, was die Trainingszeit für eng gekoppelte modellparallele Arbeiten senkt. Wenn Sie ein Cloud-Anbieter sind, bedeutet das mehr Durchsatz pro Rechenzentrumsplatz.

Für Unternehmen und Labore erschweren die Trade-offs die Entscheidungen zum Erwerb. Die Hardware erfordert maßgeschneiderte Stromverteilung, 50 Volt DC-Busleisten oder mehrere 33 kW Stromregale, gekühltes Wasser oder geschlossene CDUs, und Mitarbeiter, die mit der Wartung von flüssigkeitsgekühlten Racks vertraut sind. Diese bieten Leistung, fügen jedoch fixe Einrichtungen hinzu, die sich bei geringer oder schwankender Nutzung nur schwer amortisieren lassen.

Ein offensichtliches Gegenargument ist die Diversifizierung der Anbieter. Alternative Beschleuniger und Systeme wie speziell entwickelte Wafer oder Cerebras-Klasse-Geräte haben unterschiedliche Integrationspunkte und können die Abhängigkeit von NVLink vermeiden. Große Cloud-Anbieter haben bereits verschiedene Beschleunigertypen in der Produktion gemischt, was das Risiko eines einzigen Anbieters verringert. Siehe das historische Beispiel großer Cloud-Implementierungen alternativer Beschleuniger für den Kontext Amazon setzt Cerebras-Technologie 25-mal schneller ein.

Entscheidungsleitfaden und beobachtete Lektionen

Wenn Sie eine nachhaltige, vorhersehbare Kapazität für großflächiges Training benötigen und Hunderte von Racks betreiben, wird der NVL72-Pfad in der Regel die Laufzeit und die Energiekosten pro Parameter senken. Wenn Ihre Bedürfnisse intermittierend sind oder auf Dutzende von Racks beschränkt sind, mieten Sie zuerst. Co-Location-Anbieter werden Zwischenschritte anbieten, erwarten Sie jedoch Premiumpreise für ausreichende Strom- und CDU-Kapazitäten.

Wir haben bei der Untersuchung von rackbasierten NVL-Systemen drei wiederkehrende operationale Muster beobachtet. Erstens wird das Design der Stromversorgung zum Projekt, nicht das Rack. Zweitens ist die Softwaretool, die die Rack-Level NVLink nutzt, der entscheidende Faktor für tatsächliche Durchsatzgewinne. Drittens ist die Installations- und Servicegeschwindigkeit wichtig, da ein einzelner fehlgeschlagener Tray einen Multi-Rack-Job stoppen kann.

NVIDIAs NVL72 verändert den Schwerpunkt der Trainingsinfrastruktur. Es begünstigt Organisationen, die in Campus- oder Hyperskalestromversorgung und -kühlung investieren können und die planen, Software zu nutzen, um enge All-to-All-Verbindungen zu verwenden. Für alle anderen ist der vernünftige Weg eine schrittweise Einführung: Cloud oder Co-Location für den anfänglichen Umfang und ein gezieltes Engagement vor Ort, sobald die Nutzung hoch und vorhersehbar bleibt.