- ■
Google ने TurboQuant का अनावरण किया, जो एक प्रयोगात्मक एल्गोरिदम है जो AI वर्किंग मेमोरी को 6x तक संपीड़ित करता है टेकक्रंच
- ■
टेक ट्विटर ने तुरंत इसकी तुलना एचबीओ के सिलिकॉन वैली के पाइड पाइपर के कंप्रेशन से की
- ■
यह सफलता एआई बुनियादी ढांचे की लागत को नाटकीय रूप से कम कर सकती है, लेकिन अभी भी प्रारंभिक अनुसंधान चरण में है
- ■
उत्पादन की समय-सीमा अस्पष्ट है क्योंकि Google प्रयोगशाला बेंचमार्क से परे वास्तविक दुनिया के प्रदर्शन का परीक्षण करता है
गूगल हाल ही में टर्बोक्वांट को हटा दिया गया है, एक प्रयोगात्मक संपीड़न एल्गोरिदम जो एआई वर्किंग मेमोरी को 6x तक कम करने का वादा करता है – और इंटरनेट एचबीओ के सिलिकॉन वैली से पाइड पाइपर के मध्य-आउट संपीड़न के समानांतर चित्रण करना बंद नहीं कर सकता है। यह सफलता एआई मॉडल के मेमोरी-गहन कार्यों को संभालने के तरीके को नया आकार दे सकती है, लेकिन निकट भविष्य में इसके उत्पादन की उम्मीद न करें। यह अभी भी प्रयोगशाला में बंद एक शोध परियोजना है।
गूगल शोधकर्ताओं ने हाल ही में TurboQuant का अनावरण किया, और यदि उन्होंने कोशिश की तो समय सिलिकॉन वैली से अधिक नहीं हो सकता था। कंप्रेशन एल्गोरिदम उद्योग की सबसे महंगी बाधाओं में से एक को संबोधित करते हुए एआई मॉडल की कार्यशील मेमोरी को 6 गुना तक कम करने का वादा करता है। लेकिन इससे पहले कि कोई अपने अगली पीढ़ी के डेटा सेंटर की योजना बनाना शुरू करे, एक समस्या है – टर्बोक्वांट अभी भी पूरी तरह से प्रयोगात्मक है, जिसमें उत्पादन परिनियोजन के लिए कोई स्पष्ट रास्ता नहीं है।
घोषणा ने टेक ट्विटर को एचबीओ की सिलिकॉन वैली की काल्पनिक संपीड़न कंपनी पाइड पाइपर संदर्भों के उन्माद में डाल दिया, जिसने क्रांतिकारी फ़ाइल संपीड़न का वादा किया था। समानताएं लगभग बहुत सटीक हैं। Google के स्वयं के शोधकर्ता स्वीकार करते हैं कि वास्तविक AI वर्कलोड को छूने से पहले प्रौद्योगिकी को महत्वपूर्ण सत्यापन की आवश्यकता है टेकक्रंच.
यहां बताया गया है कि मीम्स से परे यह क्यों मायने रखता है। एआई मॉडल, विशेष रूप से बड़े भाषा मॉडल जैसे कि पॉवरिंग गूगल का मिथुन या ओपनएआई GPT-4, अनुमान के दौरान भारी मात्रा में मेमोरी का उपभोग करता है। वह कार्यशील मेमोरी – जिसे तकनीकी रूप से ट्रांसफार्मर आर्किटेक्चर में केवी कैश कहा जाता है – संदर्भ लंबाई के साथ रैखिक रूप से बढ़ती है। जब आप हजारों टोकन संसाधित कर रहे होते हैं, तो मेमोरी सीमित कारक बन जाती है, गणना नहीं। TurboQuant मॉडल प्रदर्शन से समझौता किए बिना उस कैश को संपीड़ित करके सीधे इस समस्या पर हमला करता है।
6x संपीड़न अनुपात एआई अर्थशास्त्र के लिए संभावित गेम-चेंजर का प्रतिनिधित्व करता है। बड़े मॉडलों को बड़े पैमाने पर चलाने के लिए वर्तमान में महंगी उच्च-बैंडविड्थ मेमोरी कॉन्फ़िगरेशन की आवश्यकता होती है। एनवीडिया का H100 GPU, AI प्रशिक्षण और अनुमान के लिए उद्योग मानक, 80GB HBM3 मेमोरी पैक करते हैं क्योंकि मॉडल मेमोरी के इतने भूखे होते हैं। यदि टर्बोक्वांट विज्ञापित के रूप में काम करता है, तो कंपनियां संभावित रूप से छोटे हार्डवेयर फ़ुटप्रिंट पर बड़े मॉडल चला सकती हैं या बुनियादी ढांचे को अपग्रेड किए बिना लंबी संदर्भ विंडो को संभाल सकती हैं।
