ओपन-सोर्स LLMs की दुनिया रोमांचक और लगातार विकसित हो रही है। यह पाठ ओपन सोर्स मॉडल्स पर गहराई से जानकारी प्रदान करने का उद्देश्य रखता है। यदि आप जानना चाहते हैं कि मालिकाना मॉडल्स की तुलना में ओपन सोर्स मॉडल्स कैसे हैं, तो "विभिन्न LLMs का अन्वेषण और तुलना" पाठ पर जाएं। यह पाठ फाइन-ट्यूनिंग के विषय को भी कवर करेगा, लेकिन इसका अधिक विस्तृत विवरण "फाइन-ट्यूनिंग LLMs" पाठ में पाया जा सकता है।
- ओपन सोर्स मॉडल्स की समझ प्राप्त करना
- ओपन सोर्स मॉडल्स के साथ काम करने के लाभों को समझना
- Hugging Face और Azure AI Studio पर उपलब्ध ओपन मॉडल्स का अन्वेषण करना
ओपन सोर्स सॉफ़्टवेयर ने विभिन्न क्षेत्रों में प्रौद्योगिकी के विकास में महत्वपूर्ण भूमिका निभाई है। ओपन सोर्स इनिशिएटिव (OSI) ने सॉफ़्टवेयर को ओपन सोर्स के रूप में वर्गीकृत करने के लिए 10 मानदंड परिभाषित किए हैं। स्रोत कोड को OSI द्वारा अनुमोदित लाइसेंस के तहत खुले तौर पर साझा किया जाना चाहिए।
हालांकि LLMs का विकास सॉफ़्टवेयर विकसित करने के समान तत्वों को साझा करता है, लेकिन प्रक्रिया बिल्कुल समान नहीं है। इसने LLMs के संदर्भ में ओपन सोर्स की परिभाषा पर समुदाय में बहुत चर्चा की है। एक मॉडल को पारंपरिक ओपन सोर्स परिभाषा के साथ संरेखित करने के लिए निम्नलिखित जानकारी सार्वजनिक रूप से उपलब्ध होनी चाहिए:
- मॉडल को प्रशिक्षित करने के लिए उपयोग किए गए डेटा सेट।
- प्रशिक्षण के हिस्से के रूप में पूर्ण मॉडल वेट्स।
- मूल्यांकन कोड।
- फाइन-ट्यूनिंग कोड।
- पूर्ण मॉडल वेट्स और प्रशिक्षण मेट्रिक्स।
वर्तमान में केवल कुछ ही मॉडल्स हैं जो इन मानदंडों को पूरा करते हैं। Allen Institute for Artificial Intelligence (AllenAI) द्वारा बनाया गया OLMo मॉडल इस श्रेणी में फिट बैठता है।
इस पाठ के लिए, हम इन मॉडल्स को "ओपन मॉडल्स" कहेंगे क्योंकि वे लेखन के समय ऊपर दिए गए मानदंडों से मेल नहीं खा सकते हैं।
अत्यधिक अनुकूलन योग्य - चूंकि ओपन मॉडल्स विस्तृत प्रशिक्षण जानकारी के साथ जारी किए जाते हैं, शोधकर्ता और डेवलपर्स मॉडल के आंतरिक हिस्सों को संशोधित कर सकते हैं। यह अत्यधिक विशिष्ट मॉडल्स बनाने में सक्षम बनाता है जो किसी विशेष कार्य या अध्ययन क्षेत्र के लिए फाइन-ट्यून किए गए हैं। इसके कुछ उदाहरण हैं कोड जनरेशन, गणितीय संचालन और जीवविज्ञान।
लागत - इन मॉडल्स का उपयोग और तैनाती करने की प्रति टोकन लागत मालिकाना मॉडल्स की तुलना में कम होती है। जब जनरेटिव AI एप्लिकेशन बनाते हैं, तो प्रदर्शन बनाम कीमत को अपने उपयोग के मामले में काम करते समय देखना चाहिए।
स्रोत: आर्टिफिशियल एनालिसिस
लचीलापन - ओपन मॉडल्स के साथ काम करने से विभिन्न मॉडल्स का उपयोग करने या उन्हें संयोजित करने में लचीलापन मिलता है। इसका एक उदाहरण HuggingChat Assistants है, जहां उपयोगकर्ता सीधे उपयोगकर्ता इंटरफ़ेस में उपयोग किए जा रहे मॉडल का चयन कर सकते हैं:
LLama2, Meta द्वारा विकसित, एक ओपन मॉडल है जो चैट आधारित एप्लिकेशन के लिए अनुकूलित है। यह इसके फाइन-ट्यूनिंग विधि के कारण है, जिसमें बड़ी मात्रा में संवाद और मानव प्रतिक्रिया शामिल है। इस विधि के साथ, मॉडल अधिक परिणाम उत्पन्न करता है जो मानव अपेक्षाओं के अनुरूप होते हैं और बेहतर उपयोगकर्ता अनुभव प्रदान करते हैं।
Llama के कुछ फाइन-ट्यून किए गए संस्करणों में Japanese Llama शामिल है, जो जापानी में विशेषज्ञता रखता है और Llama Pro, जो बेस मॉडल का एक उन्नत संस्करण है।
Mistral एक ओपन मॉडल है जो उच्च प्रदर्शन और दक्षता पर केंद्रित है। यह Mixture-of-Experts दृष्टिकोण का उपयोग करता है जो एक समूह के विशेषज्ञ मॉडल्स को एक प्रणाली में जोड़ता है, जहां इनपुट के आधार पर, कुछ मॉडल्स का चयन किया जाता है। यह गणना को अधिक प्रभावी बनाता है क्योंकि मॉडल्स केवल उन इनपुट्स को संबोधित करते हैं जिनमें वे विशेषज्ञ हैं।
Mistral के कुछ फाइन-ट्यून किए गए संस्करणों में BioMistral शामिल है, जो चिकित्सा क्षेत्र पर केंद्रित है और OpenMath Mistral, जो गणितीय गणना करता है।
Falcon एक LLM है जिसे Technology Innovation Institute (TII) द्वारा बनाया गया है। Falcon-40B को 40 बिलियन पैरामीटर्स पर प्रशिक्षित किया गया था, जो कम कंप्यूट बजट के साथ GPT-3 से बेहतर प्रदर्शन करता है। यह FlashAttention एल्गोरिदम और मल्टीक्वेरी अटेंशन का उपयोग करता है जो इसे अनुमान समय पर मेमोरी आवश्यकताओं को कम करने में सक्षम बनाता है। इस कम अनुमान समय के साथ, Falcon-40B चैट एप्लिकेशन के लिए उपयुक्त है।
Falcon के कुछ फाइन-ट्यून किए गए संस्करणों में OpenAssistant शामिल है, जो ओपन मॉडल्स पर आधारित एक सहायक है और GPT4ALL, जो बेस मॉडल से बेहतर प्रदर्शन करता है।
ओपन मॉडल चुनने के लिए कोई एक उत्तर नहीं है। एक अच्छा तरीका Azure AI Studio के टास्क फीचर द्वारा फ़िल्टर का उपयोग करना है। यह आपको यह समझने में मदद करेगा कि मॉडल को किस प्रकार के कार्यों के लिए प्रशिक्षित किया गया है। Hugging Face भी एक LLM लीडरबोर्ड बनाए रखता है जो आपको कुछ मेट्रिक्स के आधार पर सबसे अच्छा प्रदर्शन करने वाले मॉडल्स दिखाता है।
विभिन्न प्रकारों में LLMs की तुलना करने के लिए Artificial Analysis एक और शानदार संसाधन है:
स्रोत: आर्टिफिशियल एनालिसिस
यदि आप किसी विशेष उपयोग के मामले पर काम कर रहे हैं, तो उसी क्षेत्र पर केंद्रित फाइन-ट्यून किए गए संस्करणों की खोज करना प्रभावी हो सकता है। अपने और अपने उपयोगकर्ताओं की अपेक्षाओं के अनुसार प्रदर्शन देखने के लिए कई ओपन मॉडल्स के साथ प्रयोग करना एक और अच्छा अभ्यास है।
ओपन मॉडल्स के बारे में सबसे अच्छी बात यह है कि आप उनके साथ काम करना जल्दी शुरू कर सकते हैं। Azure AI Foundry Model Catalog देखें, जिसमें Hugging Face संग्रह की विशेषता है जिसमें यहां चर्चा किए गए मॉडल्स शामिल हैं।
इस पाठ को पूरा करने के बाद, हमारे Generative AI Learning collection को देखें ताकि आप अपनी जनरेटिव AI ज्ञान को और बढ़ा सकें!
अस्वीकरण:
यह दस्तावेज़ AI अनुवाद सेवा Co-op Translator का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियां या अशुद्धियां हो सकती हैं। मूल भाषा में दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।