यह उद्योग-मानक MIPI कनेक्टिविटी का उपयोग करता है: FPGA इंटरफ़ेस के लिए D-PHY और MIPI CSI-2 और स्मार्ट कैमरा विकास के लिए Altera का FPGA AI टूल, वास्तविक समय 4K AI हस्तक्षेप के साथ स्मार्ट कैमरों के लिए ग्लास-टू-ग्लास एज विज़न विकसित करता है।
एमआईपीआई इंटरफ़ेस आगे की प्रक्रिया के लिए कई 4K छवि सेंसर से एफपीजीए फैब्रिक तक निर्बाध डेटा रिसेप्शन के लिए 2.5 जीबीपीएस प्रति लेन और 8x लेन प्रति एमआईपीआई इंटरफ़ेस का समर्थन करता है।
प्रत्येक MIPI CSI-2 IP, Altera के वीडियो और विज़न प्रोसेसिंग (VVP) टूल के सूट के भीतर अन्य IP कोर से कनेक्टिविटी के लिए, पिक्सेल डेटा को AXI4-स्ट्रीमिंग आउटपुट में परिवर्तित करता है।
अल्टेराएफपीजीए एआई सुइट कॉन्फ़िगर करने योग्य है और इसे स्मार्ट कैमरा उपयोग के लिए अल्ट्रालाइटिक्स YOLOv8 नैनो डिटेक्शन और पोज़ अनुमान मॉडल (चित्रित) चलाने के लिए अनुकूलित किया जा सकता है।
हार्डवेयर में एक मल्टी-सेंसर इनपुट वीडियो स्विच शामिल है जो इमेज सिग्नल प्रोसेसिंग (आईएसपी) सबसिस्टम में फीड होता है। आईएसपी एक वीडियो प्रोसेसिंग पाइपलाइन है जिसमें विभिन्न वीवीपी आईपी कोर शामिल हैं जो कच्चे सेंसर छवि डेटा को आरजीबी वीडियो डेटा में संसाधित करने की अनुमति देते हैं। आईएसपी पाइपलाइन का बैकएंड एआई पाइपलाइन को फीड करता है जिसमें एआई प्रोसेसिंग के लिए उपयुक्त वीडियो को बफर, फॉर्मेट और स्केल करने के लिए वीवीपी आईपी कोर होते हैं। एआई पाइपलाइन का बैकएंड परिणामी 4Kp30 स्ट्रीमिंग वीडियो आउटपुट डेटा (एआई अनुमान ओवरले के साथ पूर्ण) को अल्टेरा डिस्प्लेपोर्ट आईपी के माध्यम से चलाता है।
सॉफ्टवेयर स्टैक लिनक्स आधारित है और एचपीएस पर चलता है। सॉफ्टवेयर माइक्रोएसडी कार्ड से संकलित YOLOv8 नैनो मॉडल चलाता है। अल्टेरा बताते हैं कि अंतिम उपयोग के लिए मॉडल को सीधे Ultralytics से लाइसेंस और डाउनलोड करना होगा।
सॉफ़्टवेयर स्टैक में ड्राइवरों की विभिन्न परतों के साथ लिनक्स ऑपरेटिंग सिस्टम पर चलने वाला एक एप्लिकेशन सॉफ़्टवेयर बाइनरी होता है। एप्लिकेशन सॉफ़्टवेयर का बैकएंड भाग हार्डवेयर से पूछताछ करता है, गतिशील रूप से आईपी घटकों की खोज करता है और उन्हें कॉन्फ़िगर करता है। एप्लिकेशन सॉफ़्टवेयर का AI अनुमान भाग, Altera के FPGA AI सुइट IP के लिए अनुमान अनुरोधों को शेड्यूल करता है, और अनुमान परिणामों को संसाधित करता है। परिणाम फ़्रेम बफ़र में ग्राफ़िक्स के रूप में प्रस्तुत किए जाते हैं, जिन्हें हार्डवेयर वीडियो स्ट्रीम पर ओवरले करता है। स्वचालित श्वेत संतुलन, ऑटो एक्सपोज़र और अनुकूली शोर कटौती एल्गोरिदम सहित कई फीडबैक लूप हैं, जो सभी वास्तविक समय में निष्पादित होते हैं। सॉफ़्टवेयर का फ्रंटएंड एक वेब-आधारित GUI बनाता है और इसे एक वेब सर्वर पर चलाता है।
डिज़ाइन अल्टेरा क्वार्टस प्राइम प्रो संस्करण संस्करण 25.1 लिनक्स के साथ संगत है।
अल्टेरा एगिलेक्स 5 एफपीजीए डेव बोर्ड
