चैटजीपीटी, जेमिनी और क्लाउड आपकी चैट क्यों भूल जाते हैं? | प्रौद्योगिकी समाचार

एक संदर्भ विंडो क्या है?

संदर्भ विंडो को एआई मॉडल की अल्पकालिक मेमोरी के रूप में कल्पना करें। हर बार जब आप कोई संकेत या प्रश्न लिखते हैं, और हर बार जब मॉडल प्रतिक्रिया देता है, तो यह पाठ को टोकन के रूप में जानी जाने वाली इकाइयों में संसाधित कर रहा है। एक टोकन अनिवार्य रूप से कुछ वर्णों या किसी शब्द के भाग का प्रतिनिधित्व करता है। उदाहरण के लिए, ‘Anonymous’ शब्द को ‘anony’ और ‘mous’ में विभाजित किया जा सकता है।

जब एलएलएम की बात आती है, तो ये सभी टोकन अनिवार्य रूप से इनपुट होते हैं, और उनके उत्तर आउटपुट होते हैं, और साथ में वे उस संदर्भ को बनाते हैं जिसे एआई मॉडल एक समय में देख सकता है। सरल शब्दों में, एक एआई मॉडल किसी बातचीत में जितने टोकन संभाल सकता है, वह उसकी संदर्भ विंडो का आकार है।

उदाहरण के लिए, यदि किसी एआई मॉडल में 200,000-टोकन संदर्भ विंडो है, तो इसका मतलब है कि यह एक बार में केवल इतने ही टोकन को संसाधित करने और याद रखने में सक्षम है। यदि कोई उपयोगकर्ता इस सीमा से आगे जाता है, तो पुरानी जानकारी हटा दी जाती है या काट दी जाती है, और मॉडल प्रभावी रूप से बातचीत के कुछ हिस्सों को भूल जाता है।

क्या AI मॉडल में अनंत मेमोरी नहीं हो सकती?

हालाँकि यह बहुत अच्छा होगा यदि एक एआई मॉडल वह सब कुछ याद रख सके जो आपने उन्हें बताया है, व्यावहारिक रूप से, यह तकनीकी रूप से कठिन और अक्षम दोनों होगा। मेमोरी की एक कीमत होती है, क्योंकि प्रत्येक अतिरिक्त टोकन को मॉडल पढ़ता है और संसाधित करने के लिए कंप्यूटिंग शक्ति और मेमोरी की आवश्यकता होती है। इसका मतलब यह है कि संदर्भ विंडो जितनी बड़ी होगी, प्रत्येक अनुरोध की लागत उतनी ही अधिक होगी। दिलचस्प बात यह है कि जब एआई मॉडल को बहुत अधिक जानकारी मिलती है, तो वे इसका उपयोग करने में खराब हो जाते हैं। पोकॉक के अनुसार, किसी विशाल दस्तावेज़ या लंबी चैट के अंदर सही विवरण ढूंढना भूसे के ढेर में सुई ढूंढने जैसा होगा।

इसके अलावा, डिज़ाइन सीमाएँ भी हैं। यह ध्यान देने की आवश्यकता है कि प्रत्येक एआई मॉडल एक निश्चित वास्तुशिल्प सीमा के साथ बनाया गया है जो यह तय करता है कि वह कितने संदर्भ को संभाल सकता है। यही कारण है कि आप अंतर देख सकते हैं जैसे क्लाउड 4.5 में 200K टोकन सीमा है, जेमिनी 2.5 प्रो में दो मिलियन की सीमा है, या LLaMA या मिस्ट्रल जैसे छोटे मॉडल केवल कुछ हजार की सीमा के साथ आ रहे हैं।

ऐसे समय में जब कंपनियां अपने मॉडल की संदर्भ विंडो का विस्तार करने की होड़ में लगी हुई हैं, पोकॉक बताते हैं कि बड़ा होने से स्वचालित रूप से बेहतर प्रदर्शन नहीं होता है।

‘बीच में खो गया’ समस्या

अपने लघु वीडियो में, पोकॉक बताते हैं कि संदर्भ विंडो की प्रमुख सीमाओं में से एक वह है जिसे शोधकर्ता “बीच में खो गई” समस्या कहते हैं। इसे समझने के लिए, अपनी चैट को एक स्क्रॉल के रूप में चित्रित करें, और एआई शुरुआत (निर्देश या सेटअप) और अंत (सबसे हालिया संदेश) पर सबसे अधिक ध्यान देता है। इसका मतलब है कि चैट के बीच की जानकारी को कम महत्व दिया जाता है। पोकॉक बताते हैं कि ऐसा इसलिए होता है क्योंकि एलएलएम ‘ध्यान’ का उपयोग करते हैं, जो एक ऐसा तंत्र है जो यह तय करता है कि अगले शब्दों की भविष्यवाणी करते समय कौन से शब्द या टोकन सबसे ज्यादा मायने रखते हैं। पोकॉक के अनुसार, यह मनुष्यों के बीच प्रधानता पूर्वाग्रह और हालिया पूर्वाग्रह के समान है जो हाल की घटनाओं या सूचनाओं को अधिक महत्व देता है।

डेवलपर्स के लिए, जब लंबे कोडिंग सत्र की बात आती है तो ऐसा व्यवहार निराशाजनक हो सकता है। उदाहरण के लिए, यदि कोई उपयोगकर्ता अपने कोडिंग सहायक से 200 लाइन पहले के बग को ठीक करने के लिए कहता है, तो वह उस सटीक विवरण को याद करने में सक्षम नहीं हो सकता है जिसका उन्होंने पहले उल्लेख किया था, क्योंकि वह जानकारी संदर्भ विंडो के बीच में गहराई में दबी होगी।

यह समस्या कोडिंग एजेंटों को कैसे प्रभावित करती है?

जब डेवलपर्स क्लाउड कोड या गिटहब कोपायलट जैसे एआई कोडिंग टूल के साथ काम करते हैं, तो वे अनिवार्य रूप से हर बार संदर्भ विंडो के भीतर काम कर रहे होते हैं। अब, यदि एआई में फीड की गई कोई चैट या कोडबेस बहुत बड़ा हो जाता है, तो यह संदर्भ विंडो सीमा तक पहुंच सकता है और प्रतिक्रिया देना बंद कर सकता है या यहां तक ​​​​कि महत्वपूर्ण संदर्भ भी चूक सकता है। यही कारण है कि विशेषज्ञ उपयोगकर्ता अक्सर अपने सत्रों को रीसेट या संक्षिप्त (संक्षिप्त) करते हैं।

लेखक का दावा है कि संदर्भ विंडो जितनी छोटी होगी, ‘बीच में खोई हुई’ समस्याएं उतनी ही कम होंगी। मॉडल कम, अधिक केंद्रित जानकारी के साथ बेहतर प्रदर्शन करते हैं। इसका मतलब यह भी है कि अपने कोडिंग एजेंटों की चैट को नियमित रूप से साफ़ करने से एजेंट की मेमोरी ताज़ा हो जाएगी, और इसकी संदर्भ विंडो को साफ़ करने से बेहतर प्रदर्शन होगा।

पोकॉक ने कहा कि क्लियरिंग से उपयोगकर्ताओं को पूरी तरह से खाली स्लेट मिल जाती है। इसके अलावा, संक्षिप्त करने से संदर्भ को संक्षिप्त रूप में बनाए रखने में भी मदद मिलती है। हालाँकि, इसमें टोकन खर्च होता है और समय लगता है क्योंकि AI को वह सारांश तैयार करना होगा। यूट्यूबर ने आगे बताया कि क्यों छोटा और साफ-सुथरा संदर्भ आमतौर पर बेहतर काम करता है।

अधिकांश एआई उपयोगकर्ता और यहां तक ​​कि डेवलपर्स भी अक्सर मानते हैं कि बड़ी संदर्भ विंडो का मतलब बेहतर परिणाम है। हालांकि, यह हमेशा सच नहीं है। पोकॉक इस बात पर प्रकाश डालते हैं कि छोटे, अच्छी तरह से प्रबंधित संदर्भ मॉडलों को स्पष्ट रूप से सोचने की अनुमति देते हैं। साथ ही, बहुत अधिक संदर्भ के कारण एआई मॉडल निर्देशों में गड़बड़ी कर सकता है, गलत विवरणों को प्राथमिकता दे सकता है, या यहां तक ​​कि अस्पष्ट उत्तर भी उत्पन्न कर सकता है।

आज, कई उन्नत कोडिंग एआई मॉडल उपयोगकर्ताओं को वर्तमान संदर्भ उपयोग को देखने की अनुमति देते हैं, विशेष रूप से सिस्टम निर्देशों, उपयोगकर्ता संदेशों या आउटपुट द्वारा विंडो का कितना उपयोग किया जाता है। यह फायदेमंद है क्योंकि यह कोडर को कार्य के बीच में जगह ख़त्म होने से बचाता है। हालाँकि, पोकॉक तीसरे पक्ष के एक्सटेंशन या मॉडल कॉन्टेक्स्ट प्रोटोकॉल (एमसीपी) सर्वर जैसे टूल के उपयोग के प्रति सावधान करता है, क्योंकि वे संदर्भ विंडो को तेजी से ब्लॉट कर सकते हैं। उनका दावा है कि ये उपकरण अक्सर अतिरिक्त डेटा या संकेतों का उपयोग कर सकते हैं जो टोकन का उपभोग कर सकते हैं, जिससे उपयोगकर्ता के मूल इनपुट के लिए कम जगह बचती है।

तो एआई चैटबॉट्स को भूलने या अस्पष्ट प्रतिक्रियाएँ उत्पन्न करने का वास्तविक उत्तर इस तथ्य में निहित है कि प्रत्येक एलएलएम एक हार्ड-कोडित संदर्भ सीमा के साथ आता है। उससे ऊपर कुछ भी, जानकारी हटा दी जाती है। इसके अलावा, संदर्भ सीमा के भीतर, एआई मॉडल शुरुआत में और अंत में जो है उसे प्राथमिकता देते हैं बजाय इसके कि बीच में क्या है।

किसी को संदर्भ विंडो को एआई मॉडल के कार्यक्षेत्र के रूप में देखना चाहिए। इसलिए, विशेषज्ञ आपको बेहतर, तेज़ और अधिक विश्वसनीय परिणाम प्राप्त करने के लिए इसे साफ-सुथरा रखने की सलाह देते हैं, चाहे आप किसी भी मॉडल का उपयोग करें।