मैं अनिश्चित था कि क्या मेरे माता-पिता यह नोटिस करेंगे कि दूसरी ओर से आवाज मेरी नहीं थी – या कि यह मेरी ही थी, लेकिन ऐसा नहीं था मुझे. आवाज ने हैलो कहा, मेरे पिताजी से पूछा कि वह कैसे हैं, और जब उन्होंने जल्दी से जवाब नहीं दिया तो दोबारा पूछा। “वह क्या है, गैबी?” उसे लगभग तुरंत ही एहसास हो गया कि कुछ गड़बड़ है। मैंने समझाया कि मैंने उसे बरगलाने की कोशिश की थी और यह स्पष्ट रूप से काम नहीं आया। “ऐसा नहीं हुआ,” उन्होंने कहा। “यह एक रोबोट की तरह लग रहा था।”
यह कोई आदर्श प्रयोग नहीं था. मेरे माता-पिता देश से बाहर थे, जिससे एक घटिया संबंध बना। वे दोस्तों के साथ दोपहर का भोजन कर रहे थे, और आवाज क्रॉसस्टॉक या ऑडियो में देरी से निपट नहीं सकती थी – इसने चुप्पी को भरने की कोशिश की। और सबसे महत्वपूर्ण बात यह है कि आवाज़ मानवीय लग रही थी, लेकिन यह मेरी तरह नहीं लग रही थी।
आवाज डीपफेक डिटेक्शन कंपनी रियलिटी डिफेंडर द्वारा तैयार की गई थी। हेरफेर किए गए मीडिया की समस्या नई नहीं है, लेकिन उपभोक्ता-ग्रेड एआई टूल के आगमन ने नकली ऑडियो, वीडियो और छवियों का निर्माण अनिवार्य रूप से घर्षण रहित बना दिया है, और हाल के वर्षों में इसका मुकाबला करने के लिए कई कंपनियां सामने आई हैं। रियलिटी डिफेंडर, पिनड्रॉप और गेटरियल तेजी से बढ़ते डीपफेक डिटेक्शन कॉटेज उद्योग का हिस्सा हैं अनुमानित मूल्य 5.5 बिलियन डॉलर है 2023 तक। ये स्टार्टअप हेरफेर किए गए मीडिया की पहचान करने के लिए मशीन लर्निंग का उपयोग करते हैं। डीपफेक से लड़ने के लिए, आपको उन्हें बनाने में सक्षम होना होगा।
शब्द “डीपफेक” एक विशिष्ट प्रकार के हेरफेर किए गए मीडिया को संदर्भित करता है जो “डीप” लर्निंग के साथ उत्पन्न हुआ है, लेकिन जिस तरह से उन्हें बनाया गया है, उसके अलावा, कोई भी समानता नहीं है जो सभी डीपफेक को एकजुट करती है। इनका उपयोग धोखाधड़ी, उत्पीड़न और मीम्स के लिए किया गया है। ग्रोक एआई जैसे उपकरणों के कारण बाल यौन शोषण सामग्री सहित गैर-सहमति वाले यौन डीपफेक का प्रसार हुआ है। घोटालेबाजों के पास है लोगों की आवाज़ें क्लोन की गईंअपने रिश्तेदारों को फोन किया, और आवाज आई कि उन्हें फिरौती के लिए पकड़ा जा रहा है। 2024 के चुनाव के दौरान, एक राजनीतिक रणनीतिकार और एक जादूगर ने मिलकर पूर्व राष्ट्रपति जो बिडेन का एक डीपफेक बनाया, जिसका उपयोग उन्होंने न्यू हैम्पशायर में पंजीकृत डेमोक्रेट को राज्य के प्राथमिक मतदान से हतोत्साहित करने के लिए किया। सीनेट की विदेश संबंध समिति के प्रमुख ने खुद को यूक्रेनी अधिकारी बताने के लिए एआई का उपयोग करने वाले किसी व्यक्ति से ज़ूम कॉल ली। कॉर्पोरेट स्तर पर, डीपफेक धोखाधड़ी एक अध्ययन के अनुसार, अब “औद्योगिक” है।
डीपफेक पहचान उद्योग मुख्य रूप से इन समस्याओं में से एक का समाधान करने के लिए मौजूद है: कॉर्पोरेट धोखाधड़ी का मुद्दा।
रियलिटी डिफेंडर एआई से निपटने के लिए एआई को प्रभावी ढंग से प्रशिक्षित कर रहा है। सीटीओ एलेक्स लिस्ले ने मुझे बताया कि कंपनी डीपफेक का पता लगाने के लिए “अनुमान-आधारित मॉडल” का उपयोग करती है। “हमारा मूलभूत मॉडल छात्र/शिक्षक प्रतिमान नामक किसी चीज़ का उपयोग करता है। हम वास्तविक चीज़ों का एक समूह लेते हैं और कहते हैं, ‘ये वास्तविक हैं,’ और फिर नकली चीज़ों का एक समूह लेते हैं और कहते हैं ‘यह नकली है।'”
नकली मैं के लिए, हमने आवाज को ठीक करने में कुछ समय बिताया: स्थिरता, स्थिरता और टोन के साथ खिलवाड़ करके इसे वास्तविक मैं जैसा बना दिया। हम बस इतना ही कर सकते थे. 2021 के एकल पॉडकास्ट साक्षात्कार के अलावा, सार्वजनिक रूप से मेरे स्पैनिश बोलने का कोई फुटेज उपलब्ध नहीं है – जिस भाषा का उपयोग मैं अपने माता-पिता के साथ संवाद करने के लिए करता हूं – जिनमें से अधिकांश अनुपयोगी हैं क्योंकि पृष्ठभूमि में संगीत है। लेकिन वर्षों के पोस्ट से निकाले गए नौ सेकंड के ऑडियो और डेटा के साथ, हम कुछ हद तक आश्वस्त एआई एजेंट को एक साथ लाने में कामयाब रहे जो मेरे माता-पिता के साथ बातचीत करने में सक्षम था, भले ही वह अवैयक्तिक हो। हमने अपने भाई पर जो अंग्रेजी मॉडल इस्तेमाल किया वह बेहतर था, क्योंकि हमारे पास प्रशिक्षण डेटा बहुत अधिक था, लेकिन फिर भी यह पर्याप्त रूप से आश्वस्त करने वाला नहीं था।
लेकिन परिवार सबसे कठिन परीक्षा है।
रियलिटी डिफेंडर के संचार प्रमुख स्कॉट स्टीनहार्ट ने मुझे बताया, “वे जानते हैं कि आपकी आवाज़ कैसी है।” स्टीनहार्ट ने मेरी सहमति से डीपफेक बनाया और इसमें तब तक छेड़छाड़ की जब तक यह कमोबेश मेरी तरह नहीं लगने लगा। यह मेरे परिवार को मूर्ख नहीं बना सकता है, लेकिन सहकर्मियों या बैंकों जैसी कॉर्पोरेट संस्थाओं के लिए शायद यह काफी अच्छा होगा।
हम पिछले 40,000 वर्षों से अपने कानों और आंखों की रोशनी पर विश्वास करते आ रहे हैं, लेकिन अब हम ऐसा नहीं कर सकते
प्रभावी होने के लिए, इन उपकरणों को शीघ्रता से कार्य करना होगा। जेनरेटिव एआई काफी धीमा है। जिस मॉडल को हम अपने माता-पिता कहा करते थे, उसने गति के लिए गुणवत्ता का त्याग कर दिया। आवाज़ को तुरंत प्रतिक्रिया देने के लिए, हमें हर जगह निम्न गुणवत्ता को स्वीकार करना पड़ा। टेक्स्ट-टू-स्पीच कहीं बेहतर था, लेकिन इसे उत्पन्न होने में अधिक समय लगा। जब हमें आवाज मिली तो लकी का एकालाप पढ़ा गोडोट की प्रतीक्षा की जा रही हैयह लगभग मेरे जैसा ही लग रहा था।
पिंड्रोप के मुख्य उत्पाद अधिकारी निकोलस हॉलैंड ने मुझे बताया, “एक व्यक्ति के रूप में, डीपफेक न होना काफी चुनौतीपूर्ण है।” “मुझे लगता है कि ‘मैं अपनी व्यक्तिगत पहचान की रक्षा कैसे करूँ?’ की चुनौती है। कुछ ऐसा है जिसे दुनिया अभी तक समझ नहीं पाई है। मुझे लगता है ‘मेरे संस्थानों को कैसे पता चलेगा कि यह मैं हूं?’ वह जगह है जहां विभिन्न संस्थान विभिन्न सुरक्षा परतें लागू कर रहे हैं।”
यह संसाधनों का भी सवाल है. मेरे पास अपनी कॉल की जांच करने के लिए एक डीपफेक डिटेक्शन कंपनी को नियुक्त करने के लिए धन नहीं है, लेकिन मेरे बैंक के पास है – और मेरे बैंक के पास खोने के लिए और भी बहुत कुछ है, भले ही सापेक्ष रूप में नहीं। एक 2024 सर्वेक्षण पाया गया कि व्यवसायों को प्रति डीपफेक घटना में $450,000 का नुकसान हुआ है, एक से अधिक फर्मों को एक ही धोखाधड़ी वाले लेनदेन में $1 मिलियन से अधिक का नुकसान हुआ है।
इनमें से कुछ मामलों में घोटालेबाज खुद को अधिकारी बताकर उनके अधीनस्थों को फोन करते हैं और उनसे अपने खातों में बड़ी रकम ट्रांसफर करने के लिए कहते हैं। इससे पहले कि मैं हॉलैंड के साथ कॉल में लॉग इन करता, मुझे ज़ूम पर एक पॉप-अप सूचना मिली:
इस मुलाकात का विश्लेषण किया जा रहा है. पिनड्रॉप सिक्योरिटी और इसके तृतीय-पक्ष प्रदाता यह निर्धारित करने के लिए आपकी मीटिंग के ऑडियो और वीडियो रिकॉर्ड करते हैं कि आप एक वास्तविक व्यक्ति हैं और/या सही व्यक्ति हैं। नीचे ‘सहमत’ पर क्लिक करके, आप उपरोक्त उद्देश्यों के लिए पिनड्रॉप के मीटिंग और ऑडियो के संग्रह, उपयोग और भंडारण, आपकी आवाज और चेहरे के स्कैन (जिसे बायोमेट्रिक जानकारी माना जा सकता है), और आपके आईपी पते (आपके राज्य, प्रांत या देश को और अधिक निर्धारित करने के लिए) के लिए सहमति देते हैं।
उन्होंने मुझे आश्वासन दिया कि मेरा चेहरा, आवाज और आईपी पता 90 दिनों से अधिक समय तक बरकरार नहीं रखा जाएगा।
हॉलैंड ने मुझे बताया कि कंपनियों में अब फर्जी नौकरी आवेदकों की भरमार हो गई है – विडंबना यह है कि पिंड्रोप में भी। हॉलैंड ने कहा, “हम इसकी एक श्रृंखला देख रहे हैं। हम देख रहे हैं कि लोग वास्तव में कहां काम कर रहे हैं, शायद वे आईटी विभाग में काम करते हैं।” “हमारे पास ऐसे ग्राहक हैं जिन्होंने किसी को काम पर रखा है, लेकिन फिर उस व्यक्ति ने रेफरल बनाया है। उन्होंने दो अन्य लोगों को काम पर रखा है और यह पता चला है कि एक ही व्यक्ति को तीन अलग-अलग आवाज़ों, तीन अलग-अलग चेहरों, तीन अलग-अलग स्लैक पहचानों का उपयोग करके तीन बार काम पर रखा गया है।”
आमतौर पर, ये पूरी तरह से AI-जनित वीडियो व्यक्तित्व नहीं हैं; वे लोग अपनी सुविधाओं को बदलने के लिए डीपफेक तकनीक का उपयोग कर रहे हैं, लगभग एक डिजिटल मास्क की तरह। इसका पता लगाने के लिए एक तरकीब होती थी: व्यक्ति को अपने चेहरे के सामने तीन उंगलियां रखने के लिए कहना।
हॉलैंड ने कहा, “यह अब बिल्कुल भी काम नहीं करता है। एआई मॉडल इतने अच्छे हैं कि वे बिल्कुल हाथ बना सकते हैं, आप हाथों को अपने चेहरे के सामने रख सकते हैं।” “अब यह मूल रूप से आपकी आँखों से अदृश्य है।”
रियलिटी डिफेंडर के लिस्ले ने मुझे बताया कि जैसे-जैसे तकनीक में सुधार होता है, हमले कम प्रयास वाले हो जाते हैं। जहां घोटालेबाज पहले एक ही कार्यकारी का रूप धारण करते थे, अब वे कंपनी के सभी स्तरों के कर्मचारियों को निशाना बना रहे हैं। उन्होंने मुझे हाल ही में एक सार्वजनिक रूप से कारोबार करने वाली कंपनी पर हुए हमले के बारे में बताया, जिसका नाम बताने से उन्होंने इनकार कर दिया, जिसमें जालसाज लिंक्डइन पर गया, हर मौजूदा कर्मचारी का नाम निकाला, और फिर “सूचना का पूल” बनाने और इनमें से प्रत्येक व्यक्ति के लिए वॉयसप्रिंट प्राप्त करने के लिए टिकटॉक और फेसबुक को खंगाला। उनकी जानकारी और वॉयसप्रिंट को एलएलएम में डाल दिया गया, जिसने एक संदर्भ विंडो और एक नक्शा बनाया, और फिर सभी स्तरों पर कर्मचारियों को बुलाकर “पूरी कंपनी को चकमा दे दिया”।
“साइबर सुरक्षा में, हम इन चीज़ों के बारे में बात करते हैं जिन्हें ‘विश्वास सीमाएँ’ कहा जाता है,” लिस्ले ने कहा। “डीपफेक के साथ समस्या यह है कि इसमें हमेशा एक अंतर्निहित विश्वास सीमा होती है, जो देखना है और सुनना विश्वास करना है। हम पिछले 40,000 वर्षों से अपने कानों और आंखों पर विश्वास कर रहे हैं, लेकिन अब हम नहीं कर सकते। ये सभी विश्वास सीमाएं हैं जिनके बारे में हमें पहले कभी नहीं सोचना पड़ा था कि हैकर्स दिलचस्प तरीकों से लाभ उठा रहे हैं।”
अभी के लिए, यह सॉफ़्टवेयर केवल बड़ी कंपनियों के लिए लक्षित है – उनके पास इसके लिए आवश्यकता, उच्च दांव और भुगतान करने के लिए गहरी जेब है। लेकिन सामान्य लोगों के पास डीपफेक पहचान सॉफ्टवेयर नहीं है, न ही निकट भविष्य में होगा। जैसा कि हॉलैंड इसे समझाता है, बड़े पैमाने पर गोद लेने के लिए सबसे बड़ी चुनौती जागरूकता है, क्योंकि “कई उपभोक्ताओं को खतरे के बारे में पता नहीं है, इसलिए वे नहीं जानते कि समाधान कैसे खोजा जाए – ग्राउंड जीरो उन व्यवसायों के साथ है जो उपभोक्ता की सेवा करते हैं।” पिनड्रॉप के पास अभी तक कोई उपभोक्ता उत्पाद नहीं है, लेकिन उसने भविष्य में इसे विकसित करने से इंकार नहीं किया है। हॉलैंड ने कहा, चुनौती “इन प्रणालियों को इतना तेज, सटीक और भरोसेमंद बनाना है कि लोग रोजमर्रा के क्षणों में उन पर भरोसा कर सकें।”
रियलिटी डिफेंडर का एक अलग दृष्टिकोण है। स्टीनहार्ट ने कहा कि एक उपभोक्ता उत्पाद “लोगों के लिए एक असमान और धब्बेदार खेल का मैदान” तैयार करेगा।
“इसे एंटीवायरस के रूप में सोचें: जबकि यह एक ऐसी चीज़ थी जिसके बारे में व्यक्तिगत लोग चिंतित थे (या, इससे भी बदतर, नहीं), अब हमारे ब्राउज़र, ईमेल प्रदाता, इंटरनेट प्रदाता और इसी तरह के सभी मैलवेयर के लिए हमारे कंप्यूटर पर आने से पहले फ़ाइलों को स्कैन कर रहे हैं,” स्टीनहार्ट ने कहा। “डीपफेक का पता लगाने के लिए यह हमारा दृष्टिकोण है।”
मेरा डीपफेक मेरे परिवार को धोखा देने में सक्षम नहीं था, लेकिन मैंने वास्तव में इसका परीक्षण नहीं किया था। वर्षों से, देश भर की कानून प्रवर्तन एजेंसियां एक डीपफेक अपहरण घोटाले की चेतावनी देती रही हैं: एक माता-पिता को मदद के लिए बहुत ही आश्वस्त आवाज से फोन आएगा, और फिर “अपहरणकर्ता” फिरौती की मांग करेगा। भले ही आवाज पूरी तरह आश्वस्त करने वाली न हो, रोना और चीखना तो है ही। मैं अपने माता-पिता के सामने ऐसा करने का साहस नहीं कर सका, भले ही वह नकली हो। मैंने संक्षेप में अन्य घोटालों पर विचार किया: मैं अपने बैंक, या शायद अपने स्वास्थ्य बीमा प्रदाता को कॉल कर सकता था, लेकिन खुद को अपने खातों से बाहर करने – या वास्तविक, वैध धोखाधड़ी करने के विचार ने – मुझे प्रयोग के प्रति उदासीन बना दिया। इसके बजाय, मैंने अपने भाई को फोन किया। “ओह, नहीं,” जैसे ही आवाज़ ने उसका स्वागत किया, उसने कहा। उसे भी मूर्ख नहीं बनाया गया था.
