Vera Rubin NVL72: สิ่งที่โครงสร้างพื้นฐานการฝึกอบรมรุ่นถัดไปหมายถึง

Vera Rubin NVL72 คือคำตอบของ NVIDIA สำหรับข้อจำกัดของ GPU ขนาดเซิร์ฟเวอร์: เครื่องที่ออกแบบมาเฉพาะ ขนาดราวที่ซ่อนความซับซ้อนของสายเคเบิล โดยสามารถบรรจุ GPU Rubin 72 ตัวและ CPU Vera 36 ตัวลงในโครงสร้างที่มีการทำความเย็นด้วยของเหลวและย้ายแบนด์วิธภายในราว ทำให้โมเดลที่ใหญ่กว่าอยู่รันได้เร็วขึ้นต่อวัตต์ การออกแบบนี้เปลี่ยนคณิตศาสตร์ของเศรษฐศาสตร์ในการฝึกอบรม ในขณะที่บังคับให้เกิดการเลือกที่ชัดเจนระหว่างคลาวด์ การจัดวางร่วมกัน และการซื้อฮาร์ดแวร์ของคุณเอง

นวัตกรรมฮาร์ดแวร์และเครือข่ายของ Vera Rubin NVL72

เพจผลิตภัณฑ์และเอกสารสถาปัตยกรรมอ้างอิงของ NVIDIA ได้ระบุถึงการเปลี่ยนแปลงที่ชัดเจน ราว GB300 NVL72 ประกอบด้วย GPU Rubin 72 ตัวและ CPU Grace/Vera 36 ตัว มีโครงสร้าง NVLink ที่มีอัตราสูงถึงประมาณ 260 เทอราไบต์ต่อวินาทีทั่วทั้งราว ซึ่งการทำงานจะอยู่ที่ประมาณ 3.6 เทอราไบต์ต่อวินาทีของแบนด์วิธแบบทุกตัวสู่ทุกตัวต่อ GPU และถาดสวิตช์ NVLink ที่เปลี่ยนได้ร้อนซึ่งกำจัดสายเคเบิลภายนอกที่ยาว NVIDIA กล่าวว่ามีจำนวนโทเคนมากกว่าถึง 10 เท่าต่อเมกะวัตต์ เมื่อเปรียบเทียบกับรุ่นก่อนหน้า GB200 ราวนี้มีการทำความเย็นด้วยของเหลวทั้งหมด และตัวเลขพลังงานที่อ้างถึงทั่วไปอยู่ในช่วง 120 ถึง 155 กิโลวัตต์ ขึ้นอยู่กับการกำหนดค่าและภาระงาน ดังนั้นพลังงานและการทำความเย็นของสิ่งอำนวยความสะดวกจึงเป็นข้อจำกัดอันดับแรก แหล่งข้อมูล: เพจผลิตภัณฑ์และนักพัฒนาของ NVIDIA NVL72 เอกสาร GB300 ของ HPE และ Lenovo

การแลกเปลี่ยนที่แท้จริงสำหรับผู้ซื้อ

หากคุณดำเนินการในระดับฮิปเปอร์สเกลคณิตนั้นง่ายกว่า ประสิทธิภาพที่สูงขึ้นต่อเมกะวัตต์ช่วยลดค่าใช้จ่ายด้านพลังงานและลดเวลาเรียกใช้สำหรับการฝึกอบรมที่มีพารามิเตอร์หลายล้านล้าน ตัวโครงสร้าง NVLink ช่วยลดค่าใช้จ่ายในการซิงโครไนซ์ระหว่าง GPU ซึ่งช่วยลดเวลานาฬิกาที่ต้องใช้ในการฝึกอบรมสำหรับงานที่มีโมเดลเชื่อมโยงกันแน่นหนา หากคุณเป็นคลาวด์ สิ่งนี้แปลเป็นปริมาณการใช้งานที่มากขึ้นต่อช่องในศูนย์ข้อมูล

สำหรับองค์กรและห้องปฏิบัติการ ทางแลกเปลี่ยนจะทำให้การตัดสินใจในการจัดหาไม่ง่าย คอมพิวเตอร์ต้องการการจัดจำหน่ายพลังงานแบบเฉพาะทาง บัสบาร์ DC 50 โวลต์ หรือชั้นวางพลังงาน 33 กิโลวัตต์หลายตัว ระบบน้ำเย็นหรือ CDU แบบหมุนเวียน และพนักงานที่มีประสบการณ์ในการให้บริการราวที่ทำความเย็นด้วยของเหลว สิ่งเหล่านั้นช่วยให้ประสิทธิภาพ แต่เพิ่มการปรับปรุงสิ่งอำนวยความสะดวกที่ตายตัวซึ่งยากต่อการแบ่งภาระภายใต้การใช้งานที่น้อยหรือที่เกิดขึ้นเป็นระยะ

ข้อโต้แย้งที่ชัดเจนคือการกระจายผู้ขาย ระบบและตัวเร่งความเร็วทางเลือก เช่น แผ่นเวเฟอร์ที่ออกแบบเฉพาะหรืออุปกรณ์ที่คลาส Cerebras มีจุดรวมกลุ่มที่แตกต่างกันและสามารถหลีกเลี่ยงการพึ่งพา NVLink ผู้ให้บริการคลาวด์รายใหญ่ได้ผสมประเภทตัวเร่งความเร็วในระบบการผลิตอยู่แล้ว ซึ่งช่วยลดความเสี่ยงจากการพึ่งพาผู้ขายเดียว ดูตัวอย่างทางประวัติศาสตร์ของการใช้งานเครื่องเร่งความเร็วทางเลือกในโครงการคลาวด์ที่ใหญ่กว่าในบริบท Amazon deploys Cerebras technology 25 times faster than.

คู่มือการตัดสินใจและบทเรียนที่ได้เรียนรู้

หากคุณต้องการประสิทธิภาพการฝึกอบรมขนาดใหญ่ที่ยั่งยืนและคาดเดาได้และดำเนินการในราวหลายร้อยตัว ทาง NVL72 จะช่วยลดเวลาการดำเนินการและค่าใช้จ่ายพลังงานต่อพารามิเตอร์ หากความต้องการของคุณไม่แน่นอนหรือจำกัดอยู่ที่ราวหลายสิบตัว ให้เช่าก่อน ผู้ให้บริการจัดวางร่วมกันจะเสนอจุดกึ่งกลางแต่คาดว่าจะต้องจ่ายในราคาพรีเมียมสำหรับพลังงานและความจุ CDU ที่เพียงพอ

เราสังเกตเห็นรูปแบบการดำเนินงานซ้ำสามรูปแบบเมื่อศึกษา NVL ระบบที่มีขนาดราว ครั้งแรก การออกแบบพลังงานกลายเป็นโครงการ ไม่ใช่ราว ประการที่สอง เครื่องมือซอฟต์แวร์ที่ใช้ประโยชน์จาก NVLink ระดับราว เป็นปัจจัยที่กำหนดสำหรับการเพิ่มผลผลิตที่แท้จริง ประการที่สาม ความเร็วในการติดตั้งและบริการสำคัญ เนื่องจากถาดที่ล้มเหลวเพียงหนึ่งอย่างสามารถหยุดงานที่ต้องใช้หลายราวได้

NVL72 ของ NVIDIA เปลี่ยนศูนย์น้ำหนักสำหรับโครงสร้างพื้นฐานการฝึกอบรม มันเอื้ออำนวยต่อองค์กรที่สามารถลงทุนในพลังงานและการทำความเย็นในวิทยาเขตหรือฮิปเปอร์สเกลและที่วางแผนซอฟต์แวร์เพื่อใช้ลิงค์ทุกตัวสู่ทุกตัวอย่างแน่นหนา สำหรับทุกคนอื่น ทางเลือกที่สมเหตุสมผลคือการนำไปใช้ในระยะ: คลาวด์หรือการจัดวางร่วมสำหรับขนาดเริ่มต้นและการมีส่วนร่วมในรูปแบบที่กำหนดเป้าหมายเพียงเมื่อการใช้ประโยชน์สูงและคาดเดาได้