यह सहयोग फ्यूरियोसा के टेन्सर कॉन्ट्रैक्शन प्रोसेसर (टीसीपी) आर्किटेक्चर को एक मल्टी-डाई चिपलेट सिस्टम में विकसित करता है, जो वैश्विक हाइपरस्केल वातावरण की उच्च-मात्रा टोकन आवश्यकताओं के लिए इंजीनियर किए गए एक अनुमान इंजन का निर्माण करता है।
फ्यूरियस और ब्रॉडकॉम फ्यूरियोसा के एआई नेटवर्किंग उत्पादों और ईथरनेट स्विच के साथ फ्यूरियोसा के एआई आर्किटेक्चर को जोड़ रहे हैं ताकि फ्यूरियोसा के आर्किटेक्चरल इनोवेशन और ब्रॉडकॉम की बुनियादी ढांचे की विशेषज्ञता को मिलाकर एक एकीकृत अनुमान मंच तैयार किया जा सके।
साझेदारी आरएनजीडी, फ्यूरियोसाएआई के डेटा सेंटर अनुमान चिप पर आधारित है। वर्तमान में बड़े पैमाने पर उत्पादन में और TSMC की 5nm प्रक्रिया में निर्मित, RNGD एक 180W, PCIe-आधारित त्वरक है जो उच्च-प्रदर्शन LLM और एजेंटिक AI वर्कलोड के लिए डिज़ाइन किया गया है।
आरएनजीडी को सैमसंग एसडीएस और एलजी एआई रिसर्च सहित वैश्विक नेताओं द्वारा उत्पादन वातावरण में मान्य किया गया है, जो मानक, एयर-कूल्ड डेटा सेंटर वातावरण में टीसीपी आर्किटेक्चर की दक्षता साबित करता है।
बिजली-बाधित लिफाफे के भीतर उच्च थ्रूपुट और कम विलंबता प्रदान करके, आरएनजीडी तीसरी पीढ़ी के प्लेटफॉर्म के लिए ब्रॉडकॉम के साथ सह-विकसित किए जा रहे महत्वपूर्ण संवर्द्धन के लिए वास्तुशिल्प आधार स्थापित करता है।
ब्रॉडकॉम के सेमीकंडक्टर सॉल्यूशंस ग्रुप के अध्यक्ष, पीएच.डी., चार्ली कावस ने कहा, “अनुमान प्रदर्शन अब केवल कच्चे कंप्यूट द्वारा परिभाषित नहीं किया गया है। यह तेजी से सर्वर और रैक में डेटा पुन: उपयोग और संचार दक्षता का एक कार्य है,” फ्यूरियोसा के टीसीपी आर्किटेक्चर को ब्रॉडकॉम के बाजार-अग्रणी एक्सपीयू टेक्नोलॉजी और आईपी प्लेटफार्म, ईथरनेट स्केल-अप और फैब्रिक स्विच के साथ जोड़कर, हम एक ऐसा प्लेटफार्म बना रहे हैं जो बड़े पैमाने पर एजेंटिक की प्रमुख बाधाओं को संबोधित करता है। एआई।”
फ्यूरियोसा की चिप में 2nm कंप्यूट डाई और HBM4/4E की सुविधा होगी, जो ब्रॉडकॉम की उन्नत पैकेजिंग क्षमताओं का उपयोग करके कई सिलिकॉन डाई को उच्च-प्रदर्शन सिस्टम-ऑन-चिप में एकीकृत करेगी।
ब्रॉडकॉम की ईथरनेट और पीसीआईई प्रौद्योगिकियों को शामिल करके, सिस्टम बड़े पैमाने पर एआई कंप्यूट क्लस्टर्स में उच्च-बैंडविड्थ, रैक-स्केल नेटवर्किंग को सक्षम बनाता है।
फ्यूरियोसा के सह-संस्थापक और सीईओ जून पाइक ने कहा, “ब्रॉडकॉम की बुनियादी ढांचा क्षमताओं और फ्यूरियोसा के टेन्सर कॉन्ट्रैक्शन प्रोसेसर आर्किटेक्चर और इसके उद्योग-परिभाषित सॉफ्टवेयर स्टैक को एक साथ लाने से हमें चिप स्तर से आगे बढ़ने और टोकन फैक्ट्री युग के लिए एक व्यापक समाधान देने की अनुमति मिलती है।”
“आरएनजीडी के साथ हमारे आर्किटेक्चर के प्रदर्शन और दक्षता को साबित करने के बाद, हमारी दूसरी पीढ़ी की चिप अब टीएसएमसी के साथ बड़े पैमाने पर उत्पादन में है, हम तीसरी पीढ़ी का अनुमान समाधान प्रदान करेंगे जो सबसे बड़े, सबसे जटिल फ्रंटियर एआई मॉडल और एजेंटिक वर्कलोड के लिए प्रति वाट उद्योग-अग्रणी प्रदर्शन प्रदान करता है।”
डिज़ाइन को वास्तविक दुनिया के एआई वर्कलोड की मांग के लिए अनुकूलित किया गया है, जिसमें गहन प्रशिक्षण-पश्चात नमूनाकरण भी शामिल है। जीपीयू द्वारा आवश्यक थ्रेड प्रबंधन के बजाय उच्च-बैंडविड्थ डेटा आंदोलन पर ध्यान केंद्रित करके, चिप अत्याधुनिक जीपीयू की तुलना में उच्च प्रदर्शन-प्रति-वाट और अधिक टोकन घनत्व प्रदान करेगी।
फ्यूरियोसा का हार्डवेयर एक सॉफ्टवेयर स्टैक द्वारा समर्थित है जो डेवलपर्स को जल्दी से तैनात करने, मांग वाले थ्रूपुट और विलंबता आवश्यकताओं को पूरा करने और आसानी से नए फ्रंटियर मॉडल और नई अनुकूलन तकनीकों पर स्विच करने में सक्षम बनाता है।
जबकि पुराने प्लेटफार्मों को प्रत्येक नए मॉडल के लिए कर्नेल की व्यापक हैंड-ट्यूनिंग की आवश्यकता होती है, फ्यूरियोसा का एसडीके एक सामान्य कंपाइलर का लाभ उठाता है जो स्वचालित रूप से उच्च-स्तरीय PyTorch कोड को सिलिकॉन में मैप करता है। अधिक विस्तृत नियंत्रण की आवश्यकता वाले डेवलपर्स के लिए, फ्यूरियोसा का वर्चुअल आईएसए एक घोषणात्मक प्रोग्रामिंग मॉडल प्रदान करता है जो पारंपरिक जीपीयू प्रोग्रामिंग की गैर-नियतात्मक जटिलता के बिना हार्डवेयर नियंत्रण प्रदान करता है।
