लघु भाषा मॉडल (Small Language Models)

पाठ्यक्रम :GS 3/विज्ञान और प्रौद्योगिकी

समाचार में

• OpenAI के एक पूर्व मुख्य वैज्ञानिक ने हाल ही में सुझाव दिया कि लार्ज लैंग्वेज मॉडल (LLMs) में प्रगति धीमी हो सकती है क्योंकि स्केलिंग अपनी सीमा के करीब पहुँच रही है।

लघु भाषा मॉडल (SLMs) 

• SLMs , एआई (AI) मॉडल हैं, जिन्हें प्राकृतिक भाषा प्रसंस्करण (NLP) कार्यों के लिए डिज़ाइन किया गया है, लेकिन LLMs की तुलना में इनमें काफी कम पैरामीटर होते हैं। यद्यपि GPT-3 (175 बिलियन पैरामीटर) और GPT-4 (1.7 ट्रिलियन पैरामीटर) जैसे LLM सामान्य बुद्धिमत्ता के लिए बनाए गए हैं, SLM अधिक विशिष्ट अनुप्रयोगों पर ध्यान केंद्रित करते हैं।
• लघु मॉडल के उदाहरण:
  • गूगल: जेमिनी अल्ट्रा
  • OpenAI: GPT-4o मिनी
  • मेटा: Llama 3
  • अन्थ्रोपिक(Anthropic): Claude 3

SLMs के उदय के कारण

• LLMs में घटता प्रतिफल: जैसे-जैसे LLMs  का विस्तार होता है, प्रदर्शन लाभ कम होता जाता है, जिसके परिणामस्वरूप उच्च संसाधन आवश्यकताओं के बावजूद प्रतिफल कम होता जाता है।
• विशिष्ट आवश्यकताएँ: SLMs विशिष्ट कार्यों को पूरा करते हैं और अधिक लागत प्रभावी होते हैं, तथा संसाधन एवं मापनीयता संबंधी मुद्दों का समाधान करते हैं।

SLMs के लाभ

• कॉम्पैक्ट और कुशल: कम मेमोरी और कम्प्यूटेशनल पावर की आवश्यकता होती है, जो उन्हें एज डिवाइस, मोबाइल एप्लिकेशन और ऑफ़लाइन AI के लिए उपयुक्त बनाता है।
• लागत-प्रभावी: LLM की तुलना में प्रशिक्षण और तैनाती के लिए सस्ता, संसाधन-विवश वातावरण में पहुँच को सक्षम बनाता है।
• लक्षित समाधान: विशेष आउटपुट प्रदान करते हैं, जो उन्हें स्वास्थ्य सेवा, शिक्षा और कृषि में अनुप्रयोगों के लिए आदर्श बनाता है।

SLMs की सीमाएँ

• कम संज्ञानात्मक क्षमता: कम मापदंडों का तात्पर्य है कोडिंग या तार्किक समस्या-समाधान जैसे जटिल कार्यों में सीमित क्षमताएँ, जहाँ LLM उत्कृष्ट हैं।
• विशिष्ट अनुप्रयोग: SLM को संकीर्ण कार्यों के लिए डिज़ाइन किया गया है, जिसमें LLM की सामान्य बुद्धिमत्ता एवं बहुमुखी प्रतिभा का अभाव है।
• प्रदर्शन की उच्चतम सीमा: SLMs को LLMs द्वारा प्रदान किए जाने वाले ज्ञान की गहनता और व्यापकता से समंजस्यशील होने  में संघर्ष करना पड़ सकता है।

भारत में SLMs 

• भारत की अद्वितीय आवश्यकताओं और संसाधन की कमी SLMs को स्थानीय अनुप्रयोगों के लिए विशेष रूप से प्रासंगिक बनाती हैं:
  • संसाधन की कमी को संबोधित करना: SLMs लागत-कुशल हैं और स्वास्थ्य सेवा, कृषि एवं शिक्षा जैसे क्षेत्रों के लिए आदर्श हैं जहाँ संसाधन सीमित हैं।
  • भाषा विविधता को संरक्षित करना: SLMs अनुकूलित भाषा मॉडल के माध्यम से क्षेत्रीय भाषाओं और सांस्कृतिक विविधता को संरक्षित करने में सहायता कर सकते हैं।
  • स्थानीयकृत मॉडल: विश्वम AI (IIIT हैदराबाद) और सर्वम AI जैसी पहलों का उद्देश्य भारत की विशिष्ट चुनौतियों का समाधान करने के लिए विशेष, स्थानीयकृत मॉडल विकसित करना है।

Source: TH