पिछले ऐड-ऑन बोर्ड में Hailo-8 (26-TOPS वैरिएंट) और Hailo-8L (13-TOPS वैरिएंट) न्यूरल नेटवर्क एक्सेलेरेटर शामिल थे। लेकिन जेनरेटिव AI मॉडल चलाने की क्षमता का अभाव था, जिसे AI HAT+ 2 संबोधित करता है।
संभावित अनुप्रयोगों में रास्पबेरी पाई-आधारित वॉयस असिस्टेंट, भाषण पहचान और प्रसंस्करण वीएलएम (विज़न लैंग्वेज मॉडल) जैसे कैमरा स्ट्रीम से दृश्यों की व्याख्या करना शामिल है।
विनिर्देश
रास्पबेरी पाई AI HAT+ 2 में Hailo-10H न्यूरल नेटवर्क एक्सेलेरेटर की सुविधा है और यह 40 TOPS (INT4) अनुमानित प्रदर्शन प्रदान करता है। कंपनी का कहना है कि यह पर्याप्त है, यह सुनिश्चित करने के लिए कि जेनेरेटिव एआई वर्कलोड संबंधित रास्पबेरी पाई 5 पर सुचारू रूप से चल सके। यह स्थानीय स्तर पर और नेटवर्क कनेक्शन के बिना प्रसंस्करण कर रहा है
AI HAT+ 2 में पहले की तुलना में बहुत बड़े आकार के मॉडल को संभालने के लिए 8GB समर्पित ऑन-बोर्ड रैम है। उदाहरण के लिए, बड़े भाषा मॉडल (एलएलएम), दृष्टि-भाषा मॉडल (वीएलएम), और अन्य जेनरेटर एआई अनुप्रयोगों में तेजी लाने के लिए।
नौश पटकरास्पबेरी पाई के वरिष्ठ प्रधान अभियंता लिखते हैं:
“विज़न-आधारित मॉडल के लिए – जैसे कि योलो-आधारित ऑब्जेक्ट पहचान, पोज़ अनुमान, और दृश्य विभाजन – एआई एचएटी + 2 का कंप्यूटर विज़न प्रदर्शन मोटे तौर पर इसके 26-टॉप्स पूर्ववर्ती के बराबर है, ऑन-बोर्ड रैम के लिए धन्यवाद। यह मूल एआई एचएटी + के रूप में हमारे कैमरा सॉफ्टवेयर स्टैक (libcamera, rpicam-apps, और Picamera2) के साथ समान एकीकरण से भी लाभान्वित होता है।”
एआई हैट+ 2 एलएलएम
लॉन्च के समय इंस्टॉल करने के लिए उपलब्ध एलएलएम हैं: डीपसीक-आर1-डिस्टिल, लामा3.2, क्यूवेन2.5-कोडर, क्यूवेन2.5-इंस्ट्रक्ट और क्यूवेन2। ये एज-आधारित एलएलएम, उपलब्ध ऑन-बोर्ड रैम में फिट होने के आकार के होते हैं, आमतौर पर 1-7 बिलियन मापदंडों पर चलते हैं।
रास्पबेरी पाई का कहना है कि एआई एचएटी + 2 भाषा मॉडल के निम्न-रैंक अनुकूलन (एलओआरए)-आधारित फ़ाइन-ट्यूनिंग का भी समर्थन करता है, “अधिकांश बेस मॉडल मापदंडों को स्थिर रखते हुए पूर्व-प्रशिक्षित एलएलएम के कुशल, कार्य-विशिष्ट अनुकूलन को सक्षम करता है”।
स्थापित करना
ध्यान दें कि एक रास्पबेरी पाई है मार्गदर्शक इसे स्थापित करने में सहायता के लिए. और हेलो का गिटहब रेपो विज़न- और जेनएआई-आधारित अनुप्रयोगों दोनों के लिए उदाहरण, डेमो और फ्रेमवर्क के लिए एक संसाधन है।
मूल AI HAT+ को अक्टूबर 2024 में पेश किया गया था।
छवियाँ: रास्पबेरी पाई
यह भी देखें: रास्पबेरी पाई 5 केस के अंदर एक एम.2 एसएसडी निचोड़ें
