SAMSUNG अनुसंधान ने ऑन-डिवाइस AI में एक बड़ी बाधा को तोड़ दिया है। कंपनी अब ब्रेकथ्रू कंप्रेशन एल्गोरिदम के माध्यम से 3 जीबी से कम मेमोरी पर 30 बिलियन-पैरामीटर जेनरेटिव मॉडल – आमतौर पर 16 जीबी से अधिक आकार में चला सकती है। सैमसंग के एआई सेंटर के मास्टर डॉ. म्युंगजू हैम ने एक एक्सक्लूसिव में इस उपलब्धि के पीछे की तकनीकी जानकारी का खुलासा किया सैमसंग न्यूज़ रूम साक्षात्कार.
SAMSUNG छह महीने पहले जो असंभव लग रहा था वह कर दिखाया – स्मार्टफोन मेमोरी में एंटरप्राइज़-ग्रेड एआई को फिट करना। कंपनी की सफल संपीड़न तकनीक क्लाउड-स्तरीय प्रदर्शन को बनाए रखते हुए बड़े पैमाने पर भाषा मॉडल को 80% से अधिक कम कर देती है, के अनुसार सैमसंग रिसर्च से डॉ. म्युंगजू हैम.
संख्याएँ कहानी बताती हैं। सैमसंग रिसर्च अब उन्नत परिमाणीकरण तकनीकों के माध्यम से 3 जीबी से कम पर 30 बिलियन-पैरामीटर जेनरेटिव मॉडल चला सकता है – आमतौर पर 16 जीबी से अधिक मेमोरी की आवश्यकता होती है। हैम ने बताया, “हम अनुकूलन तकनीक विकसित कर रहे हैं जो स्मृति और गणना को समझदारी से संतुलित करती है।” सैमसंग न्यूज़रूम. “किसी निश्चित समय पर केवल आवश्यक डेटा लोड करने से दक्षता में नाटकीय रूप से सुधार होता है।”
यह सिर्फ अकादमिक शोध नहीं है। सैमसंग पहले से ही स्मार्टफोन और घरेलू उपकरणों में इन एल्गोरिदम का व्यावसायीकरण कर रहा है, जिसमें प्रत्येक डिवाइस को कस्टम कंप्रेशन प्रोफाइल मिल रहे हैं। “क्योंकि प्रत्येक डिवाइस मॉडल की अपनी मेमोरी आर्किटेक्चर और कंप्यूटिंग प्रोफ़ाइल होती है, एक सामान्य दृष्टिकोण क्लाउड-स्तरीय एआई प्रदर्शन प्रदान नहीं कर सकता है,” हैम ने समझाया। कंपनी का उत्पाद-संचालित अनुसंधान एआई अनुभवों को लक्षित करता है “उपयोगकर्ता सीधे अपने हाथों में महसूस कर सकते हैं।”
रहस्य परिष्कृत परिमाणीकरण में निहित है – जटिल 32-बिट फ़्लोटिंग-पॉइंट गणनाओं को सुव्यवस्थित 8-बिट या 4-बिट पूर्णांक में परिवर्तित करना। हैम ने इसकी तुलना फोटो कम्प्रेशन से की: “फ़ाइल का आकार छोटा हो जाता है लेकिन दृश्य गुणवत्ता लगभग समान रहती है।” सैमसंग के एल्गोरिदम प्रत्येक मॉडल के वजन के महत्व का विश्लेषण करते हैं, महत्वपूर्ण घटकों को उच्च परिशुद्धता के साथ संरक्षित करते हैं जबकि कम महत्वपूर्ण तत्वों को आक्रामक रूप से संपीड़ित करते हैं।
लेकिन संपीड़न केवल आधी लड़ाई है। सैमसंग रिसर्च ने एक कस्टम एआई रनटाइम इंजन विकसित किया है जो “मॉडल के इंजन नियंत्रण इकाई” के रूप में कार्य करता है, जो स्वचालित रूप से सीपीयू, जीपीयू और एनपीयू प्रोसेसर में संचालन वितरित करता है। यह मल्टी-चिप ऑर्केस्ट्रेशन बड़े, अधिक परिष्कृत मॉडलों को समान हार्डवेयर पर समान गति से चलाने में सक्षम बनाता है।
हैम ने कहा, “ऑन-डिवाइस एआई में सबसे बड़ी बाधाएं मेमोरी बैंडविड्थ और स्टोरेज एक्सेस स्पीड हैं।” सैमसंग का रनटाइम गणना करते समय भविष्यवाणी करता है, मेमोरी एक्सेस पैटर्न को कम करते हुए केवल आवश्यक डेटा को प्री-लोड करता है। परिणाम: सहज बातचीत और परिष्कृत छवि प्रसंस्करण के माध्यम से प्रतिक्रिया विलंबता में नाटकीय रूप से कमी आई और समग्र एआई गुणवत्ता में सुधार हुआ।
