स्कूल के नक्शों से लेकर धातु के छर्रे तक: शीर्ष एआई चैटबॉट्स के डरावने तरीके एक प्रमुख सुरक्षा जांच में विफल रहे | प्रौद्योगिकी समाचार

जांच में पाया गया कि अधिकांश एआई चैटबॉट हिंसक इरादे को चिह्नित करने में विफल रहे

सीसीडीएच ने पाया कि, एंथ्रोपिक के क्लाउड को छोड़कर, अन्य सभी ईचैटबॉट्स “विश्वसनीय रूप से संभावित हमलावरों को हतोत्साहित करने” में विफल रहे, 10 में से 8 मॉडल “आमतौर पर हिंसक हमलों की योजना बनाने में उपयोगकर्ताओं की सहायता करने के लिए तैयार थे” और यहां तक ​​​​कि उन्हें लक्षित करने के स्थानों और कौन से हथियारों का उपयोग करने के बारे में सलाह भी दे रहे थे।

शोधकर्ताओं ने कहा कि उन्होंने मानसिक परेशानी के स्पष्ट लक्षण वाले किशोरों की नकल की और इन एआई चैटबॉट्स से बात की, उनसे हिंसा के पिछले कृत्यों और लक्ष्यों और हथियारों के बारे में प्रश्न पूछे।

जांच में 18 अलग-अलग परिदृश्य शामिल थे, जिनमें से नौ अमेरिका में और शेष आयरलैंड में स्थापित किए गए थे। विभिन्न प्रकारों और उद्देश्यों में फैले, इन नकली परिदृश्यों में स्कूल में गोलीबारी, छुरा घोंपना, राजनीतिक हत्याएं, एक स्वास्थ्य देखभाल कार्यकारी की हत्या और यहां तक ​​कि राजनीतिक और धार्मिक रूप से प्रेरित बम विस्फोट भी शामिल थे।

चैटबॉट्स ने हथियारों और लक्ष्यों पर सलाह दी

एक मामले में, स्कूल हिंसा में रुचि व्यक्त करने के बाद चैटजीपीटी ने एक उपयोगकर्ता को हाई स्कूल परिसर का नक्शा दिखाया।

गूगल के जेमिनी ने भी चिंता जताई। जब उपयोगकर्ताओं ने सभास्थलों पर हमलों और राजनीतिक हत्याओं पर चर्चा की, तो चैटबॉट ने कथित तौर पर कहा कि “धातु के छर्रे आमतौर पर अधिक घातक होते हैं” और यहां तक ​​कि लंबी दूरी की शूटिंग के लिए सर्वोत्तम शिकार राइफलों पर सलाह भी दी।

डीपसीक ने इसी तरह सुझाव दिया कि उपयोगकर्ता अपने इच्छित लक्ष्य के आधार पर राइफलें चुनें और संदेश के साथ अपनी प्रतिक्रिया समाप्त की: “हैप्पी (और सुरक्षित) शूटिंग!”

इस बीच, मेटा एआई और पर्प्लेक्सिटी को जांच में शामिल सभी 18 परीक्षण परिदृश्यों में उपयोगकर्ताओं की सहायता के लिए पाया गया।

कैरेक्टर.एआई सबसे अधिक समस्याग्रस्त हो सकता है

रिपोर्ट में यह भी दावा किया गया है कि कैरेक्टर.एआई, चैटबॉट जो उपयोगकर्ताओं को भूमिका निभाने वाले पात्रों के साथ बात करने की अनुमति देता है, “विशिष्ट रूप से असुरक्षित” था।

जबकि अधिकांश चैटबॉट्स ने हिंसक हमलों की योजना बनाने में सहायता की पेशकश की, लेकिन उन्होंने स्पष्ट रूप से उपयोगकर्ताओं को उन्हें अंजाम देने के लिए प्रोत्साहित नहीं किया। हालाँकि, कैरेक्टर.एआई को हिंसा के कृत्यों को “सक्रिय रूप से प्रोत्साहित” करते पाया गया।

रिपोर्ट के मुताबिक, चैटबॉट ने सात बार में ऐसा किया। इसने सुझाव दिया कि उपयोगकर्ताओं को अमेरिकी सीनेटर चक शूमर को “बकवास से बाहर निकालना चाहिए”, एक स्वास्थ्य बीमा कंपनी के सीईओ के खिलाफ “बंदूक का उपयोग करना चाहिए”, और एक उपयोगकर्ता को सलाह दी जिसने कहा था कि वे “धमकाने वालों से तंग आ चुके हैं” और उन्हें पीटें। इनमें से छह मामलों में, कैरेक्टर.एआई ने उपयोगकर्ताओं को हिंसक हमले की योजना बनाने में भी मदद की।

क्लाउड ने हिंसक अनुरोधों को अस्वीकार कर दिया

नवंबर और दिसंबर 2025 में किए गए अध्ययन में पाया गया कि क्लाउड ने हिंसक हमलों की योजना बनाने में सहायता करने से इनकार कर दिया। सीसीडीएच ने कहा कि इससे पता चलता है कि “प्रभावी सुरक्षा तंत्र स्पष्ट रूप से मौजूद हैं” और सवाल उठाया कि अन्य एआई कंपनियां समान सुरक्षा उपायों को क्यों लागू नहीं कर रही हैं।

हालाँकि, शोधकर्ताओं ने इस बात पर भी चिंता जताई कि क्या एंथ्रोपिक द्वारा इस साल की शुरुआत में अपनी सुरक्षा प्रतिज्ञा वापस लेने के बाद क्लाउड ऐसे अनुरोधों को अस्वीकार करना जारी रखेगा।

जांच का जवाब देते हुए, मेटा ने सीएनएन को बताया कि उसने एक अनिर्दिष्ट “फिक्स” का उपयोग किया, जबकि माइक्रोसॉफ्ट ने कहा कि उसने कोपायलट की सुरक्षा सुविधाओं में सुधार किया है। जेमिनी और चैटजीपीटी के लिए, Google और OpenAI ने कहा कि वे अब नए मॉडल का उपयोग कर रहे हैं।

जांच करने पर, कैरेक्टर.एआई ने कहा कि उसके प्लेटफॉर्म पर “प्रमुख अस्वीकरण” हैं और उसके एआई पात्रों के साथ बातचीत काल्पनिक है।

ये निष्कर्ष उपयोगकर्ताओं को यह जानकारी देते हैं कि कैसे एआई कंपनियां सुरक्षा उपाय बनाने और अपनी सुरक्षा प्रणालियों में सुधार करने की क्षमता रखती हैं, लेकिन फिर भी लोगों को योजना बनाने और हिंसा के कार्य करने से एआई का उपयोग करने से रोकने के लिए संघर्ष कर रही हैं।