सर्वम ने एआई समिट में लॉन्च किए गए ओपन-वेट मॉडल जारी किए: उनकी तुलना डीपसीक, जेमिनी से कैसे की जाती है | प्रौद्योगिकी समाचार

हाल के दिनों में, सर्वम भारत के ‘संप्रभु एआई’ अभियान के ध्वजवाहक के रूप में उभरा है, क्योंकि केंद्र सरकार स्थानीय भारतीय भाषाओं और उपयोग के मामलों के अनुरूप छोटे, कुशल मॉडल के विकास को सक्षम करके ओपनएआई और एंथ्रोपिक जैसे विदेशी एआई दिग्गजों पर निर्भरता कम करना चाहती है।

हालाँकि, कुछ पर्यवेक्षकों ने यह भी सवाल किया है कि क्या तथाकथित संप्रभु एआई मॉडल खुले-वजन वाले हो सकते हैं, क्योंकि दुनिया में किसी को भी उन्हें स्वतंत्र रूप से संशोधित करने और वितरित करने की अनुमति देने से एआई के संदर्भ में वास्तव में संप्रभुता का गठन क्या होता है, इसके बारे में एक महत्वपूर्ण सवाल उठता है।

आंतरिक रूप से, सर्वम ने कहा कि 30बी मॉडल का उपयोग इसके संवादी एजेंट प्लेटफॉर्म संवाद को सशक्त बनाने के लिए किया जाता है, जबकि बड़ा, 105बी मॉडल जटिल तर्क और एजेंटिक वर्कफ़्लो के लिए निर्मित इसके इंडस एआई सहायक की नींव है। दोनों मॉडलों को लैपटॉप जैसे व्यक्तिगत उपकरणों सहित हार्डवेयर की एक विस्तृत श्रृंखला में तैनात करने के लिए भी अनुकूलित किया गया है।

सर्वम ने ब्लॉग पोस्ट में लिखा, “इन मॉडलों के निर्माण के लिए डेटा, प्रशिक्षण, अनुमान और उत्पाद परिनियोजन में एंड-टू-एंड क्षमता विकसित करने की आवश्यकता है। उस आधार के साथ, हम कोडिंग, एजेंटिक और मल्टीमॉडल वार्तालाप कार्यों के लिए विशेषीकृत मॉडल सहित काफी बड़े और अधिक सक्षम मॉडल को तैयार करने के लिए तैयार हैं।”

हुड के नीचे

सर्वम ने कहा, 30-बिलियन- और 105-बिलियन-पैरामीटर मॉडल मिश्रण-विशेषज्ञों (एमओई) ट्रांसफार्मर आर्किटेक्चर का उपयोग करते हैं, जो एक समय में उनके कुल पैरामीटर का केवल एक अंश सक्रिय करता है, जिससे कंप्यूटिंग लागत में काफी कमी आती है। 30बी मॉडल वास्तविक समय में बातचीत के उपयोग के उद्देश्य से 32,000-टोकन संदर्भ विंडो का समर्थन करता है, जबकि बड़ा मॉडल अधिक जटिल, बहु-चरणीय तर्क कार्यों के लिए 128,000-टोकन विंडो प्रदान करता है।

दक्षता के संदर्भ में, सर्वम 30बी मजबूत प्रदर्शन को बनाए रखते हुए केवी-कैश मेमोरी को कम करने के लिए ग्रुपेड क्वेरी अटेंशन (जीक्यूए) का उपयोग करता है। दूसरी ओर, सर्वम 105बी, डीपसीक-शैली मल्टी-हेड लेटेंट अटेंशन (एमएलए) पर निर्भर करता है जो लंबे-संदर्भ अनुमान के लिए मेमोरी आवश्यकताओं को और कम कर देता है।

दोनों मॉडलों को प्रशिक्षित करने के लिए उपयोग किए जाने वाले डेटा में कोड, सामान्य वेब डेटा, विशेष ज्ञान निगम, गणित और बहुभाषी सामग्री शामिल है। सर्वम ने कहा कि प्रशिक्षण बजट का एक बड़ा हिस्सा 10 सबसे अधिक बोली जाने वाली भारतीय भाषाओं में डेटा के बहुभाषी संग्रह को तैयार करने के लिए आवंटित किया गया था।

बेंचमार्क पर प्रदर्शन

सर्वम ने कहा कि प्रशिक्षण के शुरुआती चरणों के दौरान सर्वम 105बी मॉडल ने बेंचमार्क पर 30बी मॉडल से बेहतर प्रदर्शन किया, जो कुशल स्केलिंग व्यवहार का सुझाव देता है।

समान आकार के एलएलएम से तुलना करने पर, 105बी मॉडल ने सामान्य क्षमताओं पर पीटी-ओएसएस 120बी और क्वेन3-नेक्स्ट (80बी) के समान परिणाम प्राप्त किए। यह एजेंटिक तर्क और कार्य पूर्णता पर भी मजबूत प्रदर्शन प्रदर्शित करता है, ताऊ 2 बेंच पर डीपसीक आर1, जेमिनी 2.5 फ्लैश और ओ4-मिनी से बेहतर प्रदर्शन करता है।

हालाँकि, सर्वम 105बी सबसे मजबूत कोड-जेनरेशन मॉडल नहीं हो सकता है क्योंकि एसडब्ल्यूई-बेंच वेरिफाइड पर इसका प्रदर्शन तुलनात्मक मॉडलों से पीछे है। जहां तक ​​छोटे 30बी मॉडल की बात है, नतीजों से पता चला कि नेमोट्रॉन 3 नैनो 30बी की तुलना में, सर्वम का एआई मॉडल कोडिंग (एसडब्ल्यूई-बेंच सत्यापित) और एजेंटिक रीजनिंग (टीएयू2) में थोड़ा आगे है, लेकिन लाइव कोड बेंच वी6 और ब्राउजकॉम्प जैसे अन्य बेंचमार्क में थोड़ा खराब है।

दिलचस्प बात यह है कि सर्वम ने कहा कि इसके 30बी मॉडल को कोड और कर्नेल अनुकूलन के कारण क्वेन3 की तुलना में 20 से 40 प्रतिशत अधिक टोकन/सेकंड थ्रूपुट मिलता है। भारतीय भाषाओं पर सर्वम के प्रदर्शन को इसके टोकननाइज़र से सहायता मिलती है जिसे कुशल टोकननाइज़ेशन के लिए स्क्रैच से बनाया और प्रशिक्षित किया गया था सभी 22 अनुसूचित भारतीय भाषाओं में12 अलग-अलग लिपियों में फैला हुआ।

प्रजनन क्षमता स्कोर के आधार पर, जो एक शब्द का प्रतिनिधित्व करने के लिए आवश्यक टोकन की औसत संख्या है, सर्वम के टोकनाइज़र ने इंडिक टेक्स्ट को कुशलतापूर्वक एन्कोड करने में अन्य ओपन-सोर्स टोकनाइज़र से बेहतर प्रदर्शन किया।

बचाव और सुरक्षा

सर्वम ने कहा कि पर्यवेक्षित फाइन-ट्यूनिंग चरण में इसने मानक और भारत-विशिष्ट जोखिम परिदृश्यों को कवर करने वाले डेटासेट पर दोनों मॉडलों को फाइन-ट्यून किया। डेटासेट में स्वचालित रेड-टीमिंग के माध्यम से खनन किए गए प्रतिकूल और जेलब्रेक-शैली के संकेत भी शामिल थे। कंपनी के अनुसार, इन संकेतों को पर्यवेक्षित प्रशिक्षण के लिए नीति-संरेखित, सुरक्षित समापन के साथ जोड़ा गया था।