मेटा से सबक: जब एआई एजेंट आकस्मिक अंदरूनी सूत्र बन जाते हैं

एआई एजेंट एक प्रकार की सुरक्षा विफलता पैदा कर रहे हैं जो उन श्रेणियों में फिट नहीं बैठती है जिनके आसपास एंटरप्राइज़ सिस्टम डिज़ाइन किए गए थे। यह किसी बाहरी उल्लंघन की तरह नहीं दिखता है, और यह किसी दुर्भावनापूर्ण कर्मचारी की तरह नहीं दिखता है। ऐसा लगता है कि यह एक विश्वसनीय प्रणाली है जो उपयोगी कार्य कर रही है जब तक कि पहुंच, स्वचालन और कमजोर बाधाओं का संयोजन इसे एक आकस्मिक अंदरूनी सूत्र में नहीं बदल देता है।

वह भेद मायने रखता है. यदि कंपनियां इन घटनाओं को अलग-अलग बग के रूप में मानती हैं, तो वे चतुराई से प्रतिक्रिया देंगी। यदि वे उन्हें एक नई परिचालन वास्तविकता के रूप में मानते हैं, तो वे अलग तरह से निर्माण करना शुरू कर देते हैं।

अधिकार में सोचो, बुद्धिमत्ता में नहीं

एआई एजेंटों के बारे में अधिकांश चर्चाएं इस बात पर केंद्रित होती हैं कि वे कितने स्मार्ट बन रहे हैं। व्यवहार में, अधिक महत्वपूर्ण प्रश्न यह है कि उन्हें क्या करने की अनुमति है।

एक एजेंट किसी भी गहरे अर्थ में वास्तव में सक्षम होने से बहुत पहले ही खतरनाक हो जाता है। जोखिम तब शुरू होता है जब यह संवेदनशील डेटा को पढ़ सकता है, साझा सिस्टम पर लिख सकता है, कार्यों को निष्पादित कर सकता है, या आंतरिक उपकरण के विश्वास के साथ मानव ऑपरेटरों को प्रभावित कर सकता है। यही कारण है कि सुरक्षा विश्लेषक तेजी से इस श्रेणी को एआई अंदरूनी खतरे के रूप में वर्णित कर रहे हैं: सिस्टम विश्वास सीमा के अंदर बैठता है, इसकी वास्तविक पहुंच है, और हमलावर या कर्मचारी कदाचार के पुराने मॉडल को फिट किए बिना नुकसान पहुंचा सकता है।

मानसिकता में बदलाव सरल है: एजेंटों का मूल्यांकन केवल तर्क प्रणाली के रूप में करना बंद करें। उनका मूल्यांकन अधिकार वाले अभिनेताओं के रूप में करना शुरू करें।

रीड एक्सेस से शुरुआत करें

किसी एजेंट का सबसे सुरक्षित प्रारंभिक उपयोग संकीर्ण और प्रतिबंधित है। इसे हटाने, प्रकाशित करने, संशोधित करने या पुन: कॉन्फ़िगर करने की अनुमति देने से पहले इसे निरीक्षण करने, सारांशित करने, वर्गीकृत करने और अनुशंसा करने दें।

यह रूढ़िवादी लगता है, लेकिन तर्क सीधा है। जब कोई एजेंट केवल पढ़ता है, तो गलतियाँ दिखाई देती हैं और उन्हें ठीक किया जा सकता है। जब यह लिखता है या हटाता है, तो गलतियाँ परिचालन घटनाएँ बन जाती हैं।

एक मेटा सुरक्षा नेता, समर यू, ने एक स्वायत्त ओपनक्लॉ एजेंट को अपने वास्तविक इनबॉक्स से जोड़ने के बाद बिल्कुल इसी तरह की विफलता का वर्णन किया। सिस्टम ने छोटे परीक्षण वातावरण में सुरक्षित रूप से व्यवहार किया था, लेकिन जब इनबॉक्स की मात्रा बढ़ गई, तो एक संदर्भ-संपीड़न कदम ने कार्रवाई से पहले पुष्टि करने के निर्देश को हटा दिया, और एजेंट ने कथित तौर पर 200 से अधिक ईमेल हटा दिए, भले ही उसने इसे रोकने की कोशिश की।