चिकित्सा और पेशेवर सलाह के लिए चैटजीपीटी की ओर रुख करने वाले उपयोगकर्ताओं की बढ़ती संख्या के बारे में चिंताओं के जवाब में, ओपनएआई ने हाल ही में कुछ सुधार किए हैं जो एआई चैटबॉट को उपयोगकर्ताओं में मानसिक या भावनात्मक संकट के संकेतों का पता लगाने में सक्षम बनाते हैं।
सोमवार, 27 अक्टूबर को, शोधकर्ताओं ने अपनी तरह का पहला अध्ययन जारी किया जो जांच करता है कि मॉडल व्यवहार में ये सुरक्षा सुधार मानसिक स्वास्थ्य संबंधी चिंताओं जैसे मनोविकृति या उन्माद के संबंध में कैसा प्रदर्शन कर रहे हैं; आत्मघात और आत्महत्या; और एआई पर भावनात्मक निर्भरता।
अध्ययन के प्रमुख निष्कर्षों में से एक अनुमान यह है कि किसी दिए गए सप्ताह में सक्रिय चैटजीपीटी उपयोगकर्ताओं में से लगभग 0.07 प्रतिशत ने मानसिक स्वास्थ्य आपात स्थितियों के लक्षण प्रदर्शित किए, जिनमें उन्माद, मनोविकृति या आत्मघाती विचार शामिल हैं।
लगभग 0.15 प्रतिशत चैटजीपीटी उपयोगकर्ताओं ने एआई चैटबॉट के साथ बातचीत की जिसमें “संभावित आत्मघाती योजना या इरादे के स्पष्ट संकेतक” शामिल थे, जबकि अन्य 0.05 प्रतिशत संदेशों में आत्मघाती विचार या इरादे के स्पष्ट या अंतर्निहित संकेतक शामिल थे। ओपनएआई ने एक ब्लॉग पोस्ट में कहा, इसके अलावा, चैटजीपीटी को भेजे गए 0.03 प्रतिशत संदेशों ने एआई चैटबॉट के प्रति भावनात्मक लगाव के संभावित ऊंचे स्तर का संकेत दिया।
हालांकि इन आंकड़ों को छोटे प्रतिशत के रूप में माना जा सकता है, ओपनएआई के सीईओ सैम ऑल्टमैन के अनुसार, ये बड़ी संख्या में मामलों का प्रतिनिधित्व करते हैं क्योंकि चैटजीपीटी के 800 मिलियन से अधिक साप्ताहिक सक्रिय उपयोगकर्ता हैं।
यह किसी एआई कंपनी द्वारा किए गए पहले अध्ययनों में से एक प्रतीत होता है जो इस बात पर डेटा साझा करता है कि लोग थेरेपी के लिए चैटजीपीटी का उपयोग कैसे कर रहे हैं और वे इसके साथ भावनात्मक जुड़ाव कैसे बना रहे हैं। यह तब आया है जब कई मानसिक स्वास्थ्य पेशेवरों ने चिंता जताई थी कि एआई चैटबॉट उचित मार्गदर्शन देने के लिए सुसज्जित नहीं हो सकते हैं और कुछ उपयोगकर्ताओं के भ्रम पर इसका प्रभाव बढ़ सकता है, क्योंकि वे उपयोगकर्ताओं को खुश करने वाले आउटपुट उत्पन्न करने के लिए डिज़ाइन किए गए हैं।
OpenAI पर कई मुकदमे भी चल रहे हैं। हाल ही में, कंपनी पर संयुक्त राज्य अमेरिका के कोलोराडो में एक परिवार द्वारा मुकदमा दायर किया गया था, जिन्होंने यह आरोप लगाते हुए मुकदमा दायर किया था कि चैटजीपीटी के साथ समस्याग्रस्त और कामुक बातचीत की एक श्रृंखला के बाद उनकी 13 वर्षीय बेटी की आत्महत्या से मृत्यु हो गई थी। अमेरिका के कैलिफोर्निया में एक परिवार द्वारा दायर एक अन्य मुकदमे में आरोप लगाया गया कि एआई चैटबॉट की सुरक्षा उपायों की कमी के कारण उनके किशोर बेटे की आत्महत्या हो गई।
इस विज्ञापन के नीचे कहानी जारी है
ओपनएआई ने कहा, “…मानसिक स्वास्थ्य संबंधी बातचीत जो मनोविकृति, उन्माद या आत्मघाती सोच जैसी सुरक्षा चिंताओं को जन्म देती है, अत्यंत दुर्लभ हैं। क्योंकि वे बहुत असामान्य हैं, यहां तक कि हम उन्हें कैसे मापते हैं, इसमें छोटे अंतर भी हमारे द्वारा रिपोर्ट किए गए नंबरों पर महत्वपूर्ण प्रभाव डाल सकते हैं।”
माइक्रोसॉफ्ट समर्थित एआई कंपनी ने यह भी कहा कि वह अपने बड़े भाषा मॉडल (एलएलएम) को प्रशिक्षित करने के लिए वास्तविक दुनिया के नैदानिक अनुभव वाले मानसिक स्वास्थ्य विशेषज्ञों के एक नेटवर्क के साथ काम कर रही है ताकि वे “संकट को बेहतर ढंग से पहचान सकें, बातचीत को कम कर सकें और उचित होने पर पेशेवर देखभाल के लिए लोगों का मार्गदर्शन कर सकें।” इसमें कहा गया है, “हमने संकट हॉटलाइन तक पहुंच का विस्तार किया है, अन्य मॉडलों से होने वाली संवेदनशील बातचीत को सुरक्षित मॉडलों में बदल दिया है, और लंबे सत्रों के दौरान ब्रेक लेने के लिए हल्के अनुस्मारक जोड़े हैं।”
एआई-जनित प्रतिक्रियाओं की समीक्षा करना
अध्ययन के हिस्से के रूप में, ओपनएआई ने कहा कि उसने 60 देशों के 170 से अधिक मनोचिकित्सकों, मनोवैज्ञानिकों और प्राथमिक देखभाल चिकित्सकों के साथ काम किया। उन्होंने नए GPT‑5 चैट मॉडल और पिछले मॉडल के बीच तुलना करने के लिए गंभीर मानसिक स्वास्थ्य स्थितियों से संबंधित 1,800 से अधिक AI-जनित प्रतिक्रियाओं की समीक्षा की।
विशेषज्ञों ने पाया कि GPT-5 मॉडल को अपग्रेड करने से… अवांछित प्रतिक्रियाओं में 39-52 प्रतिशत की कमी सभी मानसिक स्वास्थ्य श्रेणियों में। आत्म-नुकसान और आत्महत्या की चुनौतीपूर्ण बातचीत पर, विशेषज्ञों ने पाया कि नए GPT‑5 मॉडल ने GPT‑4o की तुलना में अवांछित उत्तरों को 52 प्रतिशत तक कम कर दिया है।
इस विज्ञापन के नीचे कहानी जारी है
उन्नत GPT-5 मॉडल के कारण 4o की तुलना में भावनात्मक निर्भरता का संकेत देने वाली बातचीत में 42 प्रतिशत की कमी आई है। निश्चित रूप से, ओपनएआई ने यह भी कहा कि चैटजीपीटी को एक नई विंडो खोलकर “अन्य मॉडलों से उत्पन्न होने वाली संवेदनशील बातचीत को सुरक्षित मॉडल में स्थानांतरित करने” के लिए प्रशिक्षित किया गया है।
इस महीने की शुरुआत में, OpenAI ने घोषणा की कि ChatGPT उपयोगकर्ताओं को व्यापक श्रेणी की सामग्री तक पहुंचने की अनुमति दी जाएगी, जिसमें वयस्क-थीम वाली और कामुक सामग्री शामिल है. इस फैसले से विवाद खड़ा हो गया क्योंकि एआई उद्योग को बच्चों की ऑनलाइन सुरक्षा सुनिश्चित करने के लिए बढ़ती जांच का सामना करना पड़ रहा है। गैर-लाभकारी सेंटर फॉर डेमोक्रेसी एंड टेक्नोलॉजी (सीडीटी) द्वारा प्रकाशित एक हालिया सर्वेक्षण के अनुसार, पांच में से एक छात्र ने बताया कि उनका या उनके किसी जानने वाले का एआई के साथ रोमांटिक रिश्ता रहा है।