वे हैं: NVIDIA Vera CPU, NVIDIA Rubin GPU, NVIDIA NVLink;6 स्विच, NVIDIA ConnectX-9 SuperNIC, NVIDIA BlueField-4 DPU और NVIDIA Spectrum-6 ईथरनेट स्विच, साथ ही नया NVIDIA Groq 3 LPU।
एक एआई सुपरकंप्यूटर के रूप में एक साथ काम करने के लिए डिज़ाइन किया गया, चिप्स एआई के हर चरण को शक्ति प्रदान करते हैं – बड़े पैमाने पर प्रीट्रेनिंग, पोस्ट-ट्रेनिंग और टेस्ट-टाइम स्केलिंग से लेकर वास्तविक समय एजेंटिक अनुमान तक।
सीईओ जेन्सेन हुआंग ने कहा, “वेरा रुबिन एक पीढ़ीगत छलांग है – सात सफल चिप्स, पांच रैक, एक विशाल सुपरकंप्यूटर – जो एआई के हर चरण को शक्ति देने के लिए बनाया गया है।”
NVIDIA वेरा रुबिन NVL72 रैक
कनेक्टएक्स-9 सुपरएनआईसी और ब्लूफील्ड-4 डीपीयू के साथ एनवीलिंक 6 से जुड़े 72 रुबिन जीपीयू और 36 वेरा सीपीयू को एकीकृत करते हुए, वेरा रुबिन एनवीएल72 महत्वपूर्ण दक्षता प्रदान करता है – एनवीआईडीआईए ब्लैकवेल प्लेटफॉर्म की तुलना में एक-चौथाई जीपीयू के साथ बड़े मिश्रण-विशेषज्ञ मॉडल को प्रशिक्षित करना और एक-दसवें पर प्रति वाट 10 गुना अधिक अनुमान थ्रूपुट प्राप्त करना। प्रति टोकन लागत.
दुनिया भर में हाइपरस्केल एआई कारखानों के लिए डिज़ाइन किया गया, NVL72 प्रशिक्षण के समय और स्वामित्व की कुल लागत को कम करते हुए बड़े पैमाने पर GPU समूहों में उच्च उपयोग को बनाए रखने के लिए NVIDIA क्वांटम-X800 InfiniBand और स्पेक्ट्रम-X ईथरनेट के साथ निर्बाध रूप से स्केल करता है।
एनवीडिया वेरा सीपीयू रैक
सुदृढीकरण सीखने और एजेंटिक एआई वर्कलोड जीपीयू सिस्टम पर चलने वाले मॉडल द्वारा उत्पन्न परिणामों का परीक्षण और सत्यापन करने के लिए बड़ी संख्या में सीपीयू-आधारित वातावरण पर निर्भर करते हैं।
NVIDIA वेरा सीपीयू रैक, NVIDIA MGX पर निर्मित सघन, लिक्विड-कूल्ड बुनियादी ढांचा प्रदान करता है, जो विश्व स्तरीय एकल-थ्रेडेड प्रदर्शन के साथ स्केलेबल, ऊर्जा-कुशल क्षमता प्रदान करने के लिए 256 वेरा सीपीयू को एकीकृत करता है, बड़े पैमाने पर एजेंटिक एआई को अनलॉक करता है।
स्पेक्ट्रम-एक्स ईथरनेट नेटवर्किंग के साथ एकीकृत, वेरा सीपीयू रैक सीपीयू वातावरण को एआई फैक्ट्री में कसकर सिंक्रनाइज़ रखता है। जीपीयू कंप्यूट रैक के साथ, वे बड़े पैमाने पर एजेंटिक एआई और सुदृढीकरण सीखने के लिए सीपीयू फाउंडेशन प्रदान करते हैं – वेरा पारंपरिक सीपीयू की तुलना में दो बार कुशलतापूर्वक और 50% तेजी से परिणाम प्रदान करता है।
एनवीडिया ग्रोक 3 एलपीएक्स रैक
NVIDIA ग्रूक 3 एलपीएक्स त्वरित कंप्यूटिंग में एक मील का पत्थर है। एजेंटिक सिस्टम की कम-विलंबता और बड़े-संदर्भ मांगों के लिए डिज़ाइन किया गया, एलपीएक्स और वेरा रुबिन दोनों प्रोसेसर के चरम प्रदर्शन को एकजुट करते हैं ताकि प्रति मेगावाट 35 गुना अधिक अनुमान थ्रूपुट और ट्रिलियन-पैरामीटर मॉडल के लिए 10 गुना अधिक राजस्व अवसर प्रदान किया जा सके।
बड़े पैमाने पर, एलपीयू का एक बेड़ा तेज, नियतात्मक अनुमान त्वरण के लिए एक विशाल एकल प्रोसेसर के रूप में कार्य करता है। 256 एलपीयू प्रोसेसर वाले एलपीएक्स रैक में 128 जीबी ऑन-चिप एसआरएएम और 640 टीबी/एस स्केल-अप बैंडविड्थ है। वेरा रुबिन एनवीएल72 के साथ तैनात, रुबिन जीपीयू और एलपीयू प्रत्येक आउटपुट टोकन के लिए एआई मॉडल की प्रत्येक परत की संयुक्त रूप से गणना करके डिकोड को बढ़ावा देते हैं।
ट्रिलियन-पैरामीटर मॉडल और मिलियन-टोकन संदर्भ के लिए अनुकूलित, कोड-साइन किए गए एलपीएक्स आर्किटेक्चर को पावर, मेमोरी और कंप्यूट में दक्षता को अधिकतम करने के लिए वेरा रुबिन के साथ जोड़ा गया है। प्रति वाट अतिरिक्त थ्रूपुट और टोकन प्रदर्शन अल्ट्रा-प्रीमियम, ट्रिलियन-पैरामीटर, मिलियन-संदर्भ अनुमान के एक नए स्तर को अनलॉक करता है, जो सभी एआई प्रदाताओं के लिए राजस्व अवसर का विस्तार करता है। पूरी तरह से तरल रूप से ठंडा और एमजीएक्स बुनियादी ढांचे पर निर्मित, एलपीएक्स इस साल की दूसरी छमाही में उपलब्ध होने वाली अगली पीढ़ी के वेरा रुबिन एआई कारखानों में निर्बाध रूप से एकीकृत होता है।
NVIDIA ब्लूफील्ड-4 STX स्टोरेज रैक
एनवीडिया ब्लूफील्ड-4 एसटीएक्स रैक-स्केल सिस्टम एक एआई-नेटिव स्टोरेज इंफ्रास्ट्रक्चर है जो पूरे पीओडी में जीपीयू मेमोरी को निर्बाध रूप से विस्तारित करता है। BlueField-4 द्वारा संचालित – NVIDIA Vera CPU और NVIDIA ConnectX-9 SuperNIC का संयोजन – STX एक उच्च-बैंडविड्थ साझा परत प्रदान करता है जो बड़े भाषा मॉडल और एजेंटिक एआई वर्कफ़्लोज़ द्वारा उत्पन्न बड़े पैमाने पर कुंजी-मूल्य कैश डेटा को संग्रहीत और पुनर्प्राप्त करने के लिए अनुकूलित है।
NVIDIA DOCA मेमो™ – एक नया DOCA फ्रेमवर्क जो ब्लूफील्ड-4 स्टोरेज को सुपरचार्ज करता है – सामान्य प्रयोजन स्टोरेज आर्किटेक्चर की तुलना में पावर दक्षता में उल्लेखनीय सुधार करते हुए अनुमान थ्रूपुट को 5x तक बढ़ाने के लिए समर्पित KV कैश स्टोरेज प्रोसेसिंग को सक्षम बनाता है। परिणाम पीओडी-व्यापी संदर्भ है जो एआई एजेंटों, अधिक स्केलेबल एआई सेवाओं और उच्च समग्र बुनियादी ढांचे के उपयोग के साथ तेजी से मल्टी-टर्न इंटरैक्शन प्रदान करता है।
मिस्ट्रल एआई के सह-संस्थापक और मुख्य प्रौद्योगिकी अधिकारी टिमोथी लैक्रोइक्स ने कहा, “एनवीआईडीआईए ब्लूफील्ड-4 एसटीएक्स रैक-स्केल संदर्भ मेमोरी स्टोरेज सिस्टम हमारे एजेंटिक एआई प्रयासों को तेजी से बढ़ाने के लिए आवश्यक महत्वपूर्ण प्रदर्शन को बढ़ावा देने में सक्षम करेगा।” “एआई एजेंट मेमोरी के लिए उद्देश्य से निर्मित एक नया स्टोरेज टियर प्रदान करके, एसटीएक्स यह सुनिश्चित करने के लिए आदर्श स्थिति में है कि हमारे मॉडल बड़े पैमाने पर डेटासेट पर तर्क करते समय सुसंगतता और गति बनाए रख सकते हैं।”
NVIDIA स्पेक्ट्रम-6 SPX ईथरनेट रैक
स्पेक्ट्रम-6 एसपीएक्स ईथरनेट को एआई कारखानों में पूर्व-पश्चिम यातायात में तेजी लाने के लिए इंजीनियर किया गया है। स्पेक्ट्रम-एक्स ईथरनेट या एनवीआईडीआईए क्वांटम-एक्स800 इनफिनीबैंड स्विच के साथ कॉन्फ़िगर करने योग्य, यह बड़े पैमाने पर कम-विलंबता, उच्च-थ्रूपुट रैक-टू-रैक कनेक्टिविटी प्रदान करता है।
सह-पैकेज्ड ऑप्टिक्स के साथ स्पेक्ट्रम-एक्स ईथरनेट फोटोनिक्स पारंपरिक प्लगेबल ट्रांससीवर्स की तुलना में 5 गुना अधिक ऑप्टिकल पावर दक्षता और 10 गुना अधिक लचीलापन प्राप्त करता है।
NVIDIA ने 200 से अधिक डेटा सेंटर इंफ्रास्ट्रक्चर भागीदारों के साथ, वेरा रुबिन के लिए NVIDIA DSX प्लेटफ़ॉर्म की घोषणा की। इसमें संपूर्ण एआई फैक्ट्री में गतिशील बिजली प्रावधान को सक्षम करने के लिए डीएसएक्स मैक्स-क्यू शामिल है, जिसके परिणामस्वरूप एक निश्चित-पावर डेटा सेंटर के भीतर 30% अधिक एआई बुनियादी ढांचे की तैनाती होगी। नया डीएसएक्स फ्लेक्स सॉफ्टवेयर एआई कारखानों को ग्रिड-लचीली संपत्ति बनाने में सक्षम बनाता है, जिससे 100 गीगावाट फंसे हुए ग्रिड पावर को अनलॉक किया जा सकता है।
NVIDIA ने भी आज जारी किया वेरा रुबिन डीएसएक्स एआई फ़ैक्टरी संदर्भ डिज़ाइनकोडित एआई बुनियादी ढांचे के लिए एक खाका जो प्रति वाट टोकन और समग्र गुडपुट को अधिकतम करता है, सिस्टम लचीलेपन में सुधार करता है और पहले उत्पादन के समय में तेजी लाता है।
कंप्यूट, नेटवर्किंग, स्टोरेज, पावर और कूलिंग को कसकर एकीकृत करके, आर्किटेक्चर ऊर्जा दक्षता बढ़ाता है और यह सुनिश्चित करता है कि एआई कारखाने अधिकतम अपटाइम के साथ निरंतर, उच्च तीव्रता वाले वर्कलोड के तहत विश्वसनीय रूप से स्केल कर सकते हैं।
वेरा रुबिन-आधारित उत्पाद इस वर्ष की दूसरी छमाही से भागीदारों के पास उपलब्ध होंगे। इसमें अग्रणी क्लाउड प्रदाता अमेज़ॅन वेब सर्विसेज, गूगल क्लाउड, माइक्रोसॉफ्ट एज़्योर और ओरेकल क्लाउड इंफ्रास्ट्रक्चर के साथ-साथ एनवीआईडीआईए क्लाउड पार्टनर्स कोरवेव शामिल हैं। क्रूसोलैम्ब्डा, नेबियस, एनस्केल और साथ में ए.आई.
वैश्विक सिस्टम निर्माता सिस्को, डेल टेक्नोलॉजीज, एचपीईलेनोवो और सुपरमाइक्रो से वेरा रुबिन उत्पादों पर आधारित सर्वरों की एक विस्तृत श्रृंखला प्रदान करने की उम्मीद है, साथ ही ऐव्रेस, Asusफॉक्सकॉन, गीगाबाइट, इन्वेंटेक, पेगाट्रॉन, क्वांटा क्लाउड टेक्नोलॉजी (क्यूसीटी), विस्ट्रॉन और वाईविन.
एंथ्रोपिक, मेटा, मिस्ट्रल एआई और ओपनएआई सहित एआई लैब और फ्रंटियर मॉडल डेवलपर्स बड़े, अधिक सक्षम मॉडल को प्रशिक्षित करने और पूर्व जीपीयू पीढ़ियों की तुलना में कम विलंबता और लागत पर लंबे-संदर्भ, मल्टीमॉडल सिस्टम की सेवा के लिए एनवीआईडीआईए वेरा रुबिन प्लेटफॉर्म का उपयोग करना चाह रहे हैं।
