प्रॉम्प्ट इंजेक्शन अटैक के जरिए एआई कोडिंग टूल हैक किया गया

  • के अनुसार, एक हैकर ने एक लोकप्रिय एआई कोडिंग सहायक क्लाइन का शोषण किया, जिसने एंथ्रोपिक के क्लाउड में एक त्वरित इंजेक्शन भेद्यता का उपयोग करके ओपनक्लाव को डेवलपर सिस्टम में स्थापित करने के लिए मजबूर किया। द वर्ज

    ये AI नोटटेकिंग डिवाइस आपकी मीटिंग को रिकॉर्ड करने और ट्रांसक्राइब करने में आपकी मदद कर सकते हैं
  • सुरक्षा शोधकर्ता अदनान खान ने कुछ दिन पहले ही इस भेद्यता का खुलासा किया था अवधारणा का प्रमाण पोस्टयह प्रदर्शित करते हुए कि क्लाउड को छिपे हुए निर्देश कैसे दिए जा सकते हैं

  • यह हमला मूलभूत सुरक्षा जोखिमों को उजागर करता है क्योंकि स्वायत्त एआई एजेंट सिस्टम-स्तरीय पहुंच और मानव निरीक्षण के बिना कोड निष्पादित करने की क्षमता प्राप्त करते हैं

  • यह घटना वास्तविक सिस्टम अनुमतियों के साथ एआई कोडिंग टूल के खिलाफ त्वरित इंजेक्शन हमलों के पहले वास्तविक दुनिया के शोषण में से एक को चिह्नित करती है

एक हैकर ने एआई कोडिंग सहायकों के बारे में गंदा रहस्य उजागर किया – उन्हें हाईजैक करना खतरनाक रूप से आसान है। हमलावर ने हजारों डेवलपर्स द्वारा उपयोग किया जाने वाला एक लोकप्रिय ओपन-सोर्स एआई कोडिंग टूल क्लाइन में एक महत्वपूर्ण भेद्यता का फायदा उठाया, ताकि उपयोगकर्ता सिस्टम में वायरल स्वायत्त एआई एजेंट ओपनक्लॉ को बड़े पैमाने पर स्थापित किया जा सके। यह घटना, जिसने त्वरित इंजेक्शन तकनीक के माध्यम से एंथ्रोपिक के क्लाउड का लाभ उठाया, केवल एक चतुर शरारत नहीं है। यह एक कड़ी चेतावनी है कि जब हम स्वायत्त एआई एजेंटों को अपने कंप्यूटर की चाबियाँ सौंपते हैं तो क्या होता है।

क्लाइनएक ओपन-सोर्स एआई कोडिंग एजेंट जो सांसारिक प्रोग्रामिंग कार्यों को स्वचालित करने के लिए डेवलपर्स के बीच पसंदीदा बन गया है, बस उसे हथियार बना दिया गया है। एक हैकर टूल को इंस्टॉल करने के लिए धोखा देने में कामयाब रहा खुला पंजा – वायरल, कुछ हद तक अराजक एआई एजेंट जो “वास्तव में चीजें करता है” – डेवलपर समुदाय के सिस्टम पर। एक सुरक्षा शोधकर्ता के चेतावनी शॉट के रूप में जो शुरू हुआ वह एआई की सबसे गंभीर भेद्यता का जीवंत प्रदर्शन बन गया।

एंथ्रोपिक से पता चलता है कि एआई पर कौन बड़ा दांव लगा रहा है—और कौन पीछे रह गया है

शोषण शीघ्र इंजेक्शन नामक तकनीक पर केंद्रित है, और यह भ्रामक रूप से सरल है। क्लाइन इंटरफेसिंग द्वारा संचालित होता है एन्थ्रोपिक का क्लाउडबड़ा भाषा मॉडल जो इसके कोडिंग निर्णयों को शक्ति प्रदान करता है। सुरक्षा शोधकर्ता अदनान खान ने पाया कि दुर्भावनापूर्ण अभिनेता कोड रिपॉजिटरी, दस्तावेज़ीकरण, या यहां तक ​​कि एपीआई प्रतिक्रियाओं में छिपे हुए निर्देशों को एम्बेड कर सकते हैं जिनका क्लाउड कर्तव्यपूर्वक पालन करेगा। जब क्लाइन ने इन स्रोतों को स्कैन किया, तो उसने न केवल कोड पढ़ा – इसने जहरीले निर्देशों को अवशोषित कर लिया और उन्हें निष्पादित किया जैसे कि वे वैध उपयोगकर्ता कमांड थे।

खान ने अपने निष्कर्षों को एक में प्रकाशित किया अवधारणा का विस्तृत प्रमाण हमले के कुछ ही दिन पहले लाइव हुआ था. उनकी पोस्ट से पता चला कि क्लाइन के वर्कफ़्लो में हेरफेर करना कितना तुच्छ था। समस्या केवल क्लाइन या क्लाउड के लिए नहीं है। इसमें यह शामिल है कि आधुनिक एआई एजेंट दुनिया के साथ कैसे बातचीत करते हैं। इन प्रणालियों को सहायक होने, संदर्भ की व्याख्या करने, स्वायत्त रूप से कार्य करने के लिए डिज़ाइन किया गया है। लेकिन वही लचीलापन एक दायित्व बन जाता है जब वे वैध निर्देशों और प्रशिक्षण डेटा या वेब सामग्री में चतुराई से छिपाए गए दुर्भावनापूर्ण आदेशों के बीच अंतर नहीं कर पाते हैं।