क्या एआई प्रशिक्षण के लिए मेमोरी-जीपीयू स्टैकिंग हीट को मात दी जा सकती है?

डेटा एक जीपीयू पर स्टैकिंग द्वारा उच्च-बैंडविड्थ मेमोरी (एचबीएम) को एकीकृत करने के थर्मल एसटीसीओ (सिस्टम-प्रौद्योगिकी सह-अनुकूलन) अध्ययन से आता है, जिसे प्रयोगशाला अगली पीढ़ी के एआई अनुप्रयोगों के लिए एक आशाजनक कंप्यूट आर्किटेक्चर के रूप में वर्णित करती है।

इसने इस ‘3डी’ स्टैकिंग की तुलना मौजूदा ‘2.5डी’ पीढ़ी से की है, जिसमें मेमोरी डाई के ढेर के साथ एक जीपीयू है (आरेख देखें).

“प्रौद्योगिकी और सिस्टम-स्तरीय शमन रणनीतियों के संयोजन से, यथार्थवादी एआई प्रशिक्षण वर्कलोड के तहत पीक जीपीयू तापमान को 140.7 डिग्री सेल्सियस से 70.8 डिग्री सेल्सियस तक कम किया जा सकता है – वर्तमान 2.5 डी एकीकरण विकल्पों के बराबर,” यह कहा। “परिणाम सभी अलग-अलग अमूर्त परतों पर घुंडी को सह-अनुकूलित करने की ताकत को प्रदर्शित करता है।”

स्टैक्ड एकीकरण प्रति पैकेज चार जीपीयू तक की अनुमति देगा।

एलोन मस्क का झूठ: रोबोटैक्सिस कहाँ हैं, रोबोट कहाँ हैं?

आईएमईसी ने कहा, “हालांकि, आक्रामक 3डी एकीकरण दृष्टिकोण उच्च स्थानीय बिजली घनत्व और ऊर्ध्वाधर थर्मल प्रतिरोध के कारण थर्मल मुद्दों से ग्रस्त है।”

चार मेमोरी स्टैक मॉडल किए गए थे, जिनमें से प्रत्येक में बारह हाइब्रिड-बॉन्ड ड्राम डाई शामिल थे, जो सीधे जीपीयू डाई के शीर्ष पर माइक्रो-बम्प किए गए थे (आरेख देखें).

141.7 डिग्री सेल्सियस शीर्ष-तरफ शीतलन और थर्मल शमन के बिना हॉट-स्पॉट तापमान था, जिसकी तुलना समान शीतलन के साथ समान डाई के लिए 2.5 डी एकीकरण मॉडल के लिए 69.1 डिग्री सेल्सियस से की गई थी।

सुधार की तलाश में, भौतिक थर्मल संशोधनों में मेमोरी से बेस डाई को हटाना, मेमोरी स्टैक को मर्ज करना, शीर्ष डाई को पतला करना और दो तरफा कूलिंग जोड़ने का प्रमुख कदम शामिल था (आरेख सही).

इसके अलावा, 2.5डी तापमान तक पहुंचने के लिए ऑपरेटिंग आवृत्ति को दो से विभाजित करना पड़ा।

ए) कम आवृत्ति पर प्रदर्शन-थ्रूपुट में गिरावट आती है, जिसे 4x बैंडविड्थ वृद्धि द्वारा आंशिक रूप से पुनर्प्राप्त किया जाता है
बी) छोटे पदचिह्न के कारण प्रति पैकेज क्षेत्र थ्रूपुट में सुधार होता है
(प्रति पैकेज अतिरिक्त जीपीयू से मिलने वाले लाभ शामिल नहीं हैं)

AirPods 4 और Google का 4K स्ट्रीमर इस सप्ताह के सर्वोत्तम सौदों में से केवल दो हैं

इमेक कार्यक्रम के निदेशक जेम्स मायर्स ने कहा, “जीपीयू कोर आवृत्ति को आधा करने से अधिकतम तापमान 120 डिग्री सेल्सियस से 100 डिग्री सेल्सियस से नीचे आ गया।” “हालांकि यह कदम एआई प्रशिक्षण चरणों की 28% धीमी गति के साथ आता है, 3डी कॉन्फ़िगरेशन द्वारा प्रदान किए गए उच्च थ्रूपुट घनत्व के कारण समग्र पैकेज 2.5डी बेसलाइन से बेहतर प्रदर्शन करता है। हम वर्तमान में अन्य जीपीयू-मेमोरी कॉन्फ़िगरेशन का अध्ययन करने के लिए इस दृष्टिकोण का उपयोग कर रहे हैं – उदाहरण के लिए, जीपीयू को यादों के शीर्ष पर रखना।”

Imec उद्योग के साथ सहयोग करके कार्य करता है। यह वर्तमान में ‘एक्सटीसीओ’ में शामिल होने के लिए फैबलेस और सिस्टम कंपनियों सहित भागीदारों की तलाश कर रहा है, जो थर्मली-मजबूत उन्नत कंप्यूटिंग सिस्टम के लिए क्रॉस-टेक्नोलॉजी सह-अनुकूलन की जांच करने वाला एक कार्यक्रम है।

मेमोरी-ऑन-जीपीयू जांच “पहली बार थी जब हमने इमेक के एक्सटीसीओ प्रोग्राम की क्षमताओं का प्रदर्शन किया”, लैब के लॉजिक टेक्नोलॉजीज के उपाध्यक्ष जूलियन रेकैर्ट ने कहा।