इसके पीछे के लोगों ने कहा कि जो लोग चैटजीपीटी पर हिंसक चरमपंथी प्रवृत्ति दिखाते हैं, उन्हें न्यूजीलैंड में विकास में एक नए उपकरण के माध्यम से मानव और चैटबॉट-आधारित कट्टरपंथ समर्थन के लिए निर्देशित किया जाएगा।
यह पहल एआई कंपनियों पर हिंसा को रोकने और यहां तक कि उसे सक्षम करने में विफल रहने का आरोप लगाने वाले मुकदमों की बढ़ती संख्या के मद्देनजर सुरक्षा चिंताओं को दूर करने का नवीनतम प्रयास है।
ओपनएआई को फरवरी में कनाडाई सरकार द्वारा हस्तक्षेप की धमकी दी गई थी, जब खुलासा हुआ था कि स्कूल में घातक गोलीबारी करने वाले एक व्यक्ति को अधिकारियों को सूचित किए बिना मंच द्वारा प्रतिबंधित कर दिया गया था।
थ्रूलाइन, चैटजीपीटी के मालिक ओपनएआई के साथ-साथ प्रतिद्वंद्वी एंथ्रोपिक और गूगल द्वारा हाल के वर्षों में काम पर रखा गया एक स्टार्टअप, जो उपयोगकर्ताओं को आत्म-नुकसान, घरेलू हिंसा या खाने की गड़बड़ी के जोखिम के रूप में चिह्नित किए जाने पर संकट सहायता के लिए पुनर्निर्देशित करता है, हिंसक उग्रवाद को रोकने के लिए अपने प्रस्ताव को व्यापक बनाने के तरीके भी तलाश रहा है, इसके संस्थापक और पूर्व युवा कार्यकर्ता इलियट टेलर ने कहा।
कंपनी द क्राइस्टचर्च कॉल के साथ चर्चा कर रही है, जो 2019 में न्यूजीलैंड के सबसे खराब आतंकवादी हमले के बाद बनी ऑनलाइन नफरत को खत्म करने की एक पहल है, जिसमें चरमपंथ विरोधी समूह मार्गदर्शन देगा, जबकि थ्रूलाइन हस्तक्षेप चैटबॉट विकसित करता है, पूर्व युवा कार्यकर्ता ने कहा।
टेलर ने एक साक्षात्कार में कहा, “यह कुछ ऐसा है जिसे हम आगे बढ़ाना चाहते हैं और कवर करने का बेहतर काम करना चाहते हैं और फिर प्लेटफार्मों को बेहतर समर्थन देने में सक्षम होना चाहते हैं।” उन्होंने कहा कि कोई समय सीमा निर्धारित नहीं की गई है।
ओपनएआई ने थ्रूलाइन के साथ संबंध की पुष्टि की लेकिन आगे टिप्पणी करने से इनकार कर दिया। एंथ्रोपिक और गूगल ने टिप्पणी के अनुरोधों का तुरंत जवाब नहीं दिया।
टेलर की कंपनी, जिसे वह ग्रामीण न्यूजीलैंड में अपने घर से चलाता है, 180 देशों में 1,600 हेल्पलाइनों के लगातार जांचे जाने वाले नेटवर्क की पेशकश के साथ एआई फर्मों के लिए पसंदीदा बन गई है।
एक बार जब एआई संभावित मानसिक स्वास्थ्य संकट के संकेतों का पता लगाता है, तो यह उपयोगकर्ता को थ्रूलाइन पर ले जाता है, जो उन्हें पास में उपलब्ध मानव-संचालित सेवा से मिलाता है।
लेकिन थ्रूलाइन का दायरा विशिष्ट श्रेणियों तक सीमित है, संस्थापक ने कहा। उन्होंने कहा कि मानसिक स्वास्थ्य संबंधी संघर्षों की व्यापकता, जिसका खुलासा लोग ऑनलाइन करते हैं, एआई चैटबॉट्स की लोकप्रियता के साथ बढ़ी है और अब इसमें अतिवाद के साथ खिलवाड़ भी शामिल है।
टेलर ने कहा, चरमपंथ विरोधी उपकरण संभवत: एक हाइब्रिड मॉडल होगा, जो उन लोगों को जवाब देने के लिए प्रशिक्षित चैटबॉट का संयोजन होगा जो चरमपंथ के लक्षण दिखाते हैं और वास्तविक दुनिया की मानसिक स्वास्थ्य सेवाओं के लिए रेफरल करते हैं।
“हम बेस एलएलएम के प्रशिक्षण डेटा का उपयोग नहीं कर रहे हैं,” उन्होंने सुसंगत पाठ बनाने के लिए बड़े भाषा मॉडल प्लेटफार्मों द्वारा उपयोग किए जाने वाले सामान्य डेटासेट का जिक्र करते हुए कहा। “हम सही विशेषज्ञों के साथ काम कर रहे हैं।” प्रौद्योगिकी का अभी परीक्षण किया जा रहा है, लेकिन रिलीज़ के लिए कोई तारीख निर्धारित नहीं की गई है।
द क्राइस्टचर्च कॉल का प्रतिनिधित्व करने वाले आतंकवाद विरोधी सलाहकार गैलेन लाम्फेरे-एंगलंड ने कहा कि उन्हें गेमिंग मंचों के मध्यस्थों और माता-पिता और देखभाल करने वालों के लिए उत्पाद पेश करने की उम्मीद है जो चरमपंथ को ऑनलाइन खत्म करना चाहते हैं।
क्वींसलैंड यूनिवर्सिटी ऑफ टेक्नोलॉजी के एआई शोधकर्ता हेनरी फ्रेजर ने कहा, चैटबॉट रीरूटिंग टूल “एक अच्छा और आवश्यक विचार था क्योंकि यह मानता है कि समस्या केवल सामग्री नहीं है, बल्कि रिश्ते की गतिशीलता भी है।”
उत्पाद की सफलता इस सवाल पर निर्भर हो सकती है कि “अनुवर्ती तंत्र कितने अच्छे हैं और संरचनाएं और रिश्ते कितने अच्छे हैं जो वे लोगों को समस्या का समाधान करने के लिए निर्देशित करते हैं,” उन्होंने कहा।
टेलर ने कहा कि खतरनाक उपयोगकर्ताओं के बारे में अधिकारियों को संभावित अलर्ट सहित अनुवर्ती सुविधाएं अभी भी निर्धारित की जानी हैं, लेकिन बढ़े हुए व्यवहार को ट्रिगर करने के किसी भी जोखिम को ध्यान में रखा जाएगा।
उन्होंने कहा कि संकट में फंसे लोग ऐसी बातें ऑनलाइन साझा करते हैं जिन्हें किसी व्यक्ति से कहने में उन्हें शर्मिंदगी होती है, और अगर सरकारें संवेदनशील बातचीत में शामिल उपयोगकर्ताओं को काटने के लिए प्लेटफार्मों पर दबाव डालती हैं तो इससे खतरा बढ़ जाता है।
न्यूयॉर्क यूनिवर्सिटी के स्टर्न सेंटर फॉर बिजनेस एंड ह्यूमन राइट्स के 2025 के एक अध्ययन के अनुसार, कानून प्रवर्तन के दबाव में प्लेटफार्मों द्वारा उग्रवाद से जुड़े मॉडरेशन में वृद्धि के कारण सहानुभूति रखने वालों को टेलीग्राम जैसे कम विनियमित विकल्पों की ओर बढ़ते देखा गया है।
टेलर ने कहा, “यदि आप एआई से बात करते हैं और संकट का खुलासा करते हैं और यह बातचीत बंद कर देता है, तो कोई नहीं जानता कि क्या हुआ, और वह व्यक्ति अभी भी समर्थन के बिना हो सकता है।”
प्रकाशित – 03 अप्रैल, 2026 11:50 पूर्वाह्न IST