ओपन-सोर्स LLMs की दुनिया रोमांचक और लगातार विकसित हो रही है। यह पाठ ओपन सोर्स मॉडल्स पर गहराई से नजर डालने का उद्देश्य रखता है। यदि आप यह जानना चाहते हैं कि मालिकाना मॉडल्स की तुलना में ओपन सोर्स मॉडल्स कैसे हैं, तो "Exploring and Comparing Different LLMs" पाठ पर जाएं। यह पाठ फाइन-ट्यूनिंग के विषय को भी कवर करेगा, लेकिन अधिक विस्तृत व्याख्या "Fine-Tuning LLMs" पाठ में पाई जा सकती है।
- ओपन सोर्स मॉडल्स की समझ प्राप्त करना
- ओपन सोर्स मॉडल्स के साथ काम करने के लाभों को समझना
- Hugging Face और Azure AI Studio पर उपलब्ध ओपन मॉडल्स का अन्वेषण करना
ओपन सोर्स सॉफ़्टवेयर ने विभिन्न क्षेत्रों में प्रौद्योगिकी के विकास में महत्वपूर्ण भूमिका निभाई है। ओपन सोर्स इनिशिएटिव (OSI) ने 10 मानदंड निर्धारित किए हैं जिनके आधार पर सॉफ़्टवेयर को ओपन सोर्स के रूप में वर्गीकृत किया जाता है। स्रोत कोड को OSI द्वारा अनुमोदित लाइसेंस के तहत खुले रूप में साझा किया जाना चाहिए।
जहां LLMs का विकास सॉफ़्टवेयर विकास के समान तत्वों पर आधारित है, प्रक्रिया बिल्कुल समान नहीं है। इसने समुदाय में LLMs के संदर्भ में ओपन सोर्स की परिभाषा पर काफी चर्चा को जन्म दिया है। एक मॉडल को पारंपरिक ओपन सोर्स परिभाषा के अनुरूप माना जाने के लिए निम्नलिखित जानकारी सार्वजनिक रूप से उपलब्ध होनी चाहिए:
- मॉडल को प्रशिक्षित करने के लिए उपयोग किए गए डेटासेट।
- प्रशिक्षण के हिस्से के रूप में पूर्ण मॉडल वज़न।
- मूल्यांकन कोड।
- फाइन-ट्यूनिंग कोड।
- पूर्ण मॉडल वज़न और प्रशिक्षण मेट्रिक्स।
वर्तमान में केवल कुछ मॉडल ही इस मानदंड से मेल खाते हैं। Allen Institute for Artificial Intelligence (AllenAI) द्वारा बनाया गया OLMo मॉडल इस श्रेणी में आता है।
इस पाठ के लिए, हम आगे "ओपन मॉडल्स" शब्द का उपयोग करेंगे क्योंकि ये मॉडल लेखन के समय ऊपर दिए गए मानदंडों से मेल नहीं खा सकते हैं।
अत्यधिक अनुकूलन योग्य - चूंकि ओपन मॉडल्स विस्तृत प्रशिक्षण जानकारी के साथ जारी किए जाते हैं, शोधकर्ता और डेवलपर्स मॉडल के आंतरिक हिस्सों को संशोधित कर सकते हैं। इससे विशिष्ट कार्य या अध्ययन क्षेत्र के लिए फाइन-ट्यून किए गए अत्यधिक विशेषज्ञ मॉडल बनाने में मदद मिलती है। इसके कुछ उदाहरण हैं कोड जनरेशन, गणितीय संचालन और जीवविज्ञान।
लागत - इन मॉडल्स का उपयोग और तैनाती करने की प्रति टोकन लागत मालिकाना मॉडल्स की तुलना में कम होती है। जनरेटिव AI अनुप्रयोगों का निर्माण करते समय, अपने उपयोग मामले पर इन मॉडल्स के प्रदर्शन बनाम मूल्य को देखना चाहिए।
स्रोत: Artificial Analysis
लचीलापन - ओपन मॉडल्स के साथ काम करने से आप विभिन्न मॉडल्स का उपयोग करने या उन्हें संयोजित करने में लचीले होते हैं। इसका एक उदाहरण HuggingChat Assistants है जहां उपयोगकर्ता सीधे यूजर इंटरफेस में उपयोग किए जा रहे मॉडल का चयन कर सकता है:
LLama2, मेटा द्वारा विकसित, एक ओपन मॉडल है जो चैट आधारित अनुप्रयोगों के लिए अनुकूलित है। इसका कारण इसका फाइन-ट्यूनिंग तरीका है, जिसमें बड़ी मात्रा में संवाद और मानव प्रतिक्रिया शामिल थी। इस विधि से मॉडल अधिक ऐसे परिणाम उत्पन्न करता है जो मानव अपेक्षा के अनुरूप होते हैं, जिससे बेहतर उपयोगकर्ता अनुभव मिलता है।
Llama के फाइन-ट्यून किए गए संस्करणों के कुछ उदाहरण हैं Japanese Llama, जो जापानी भाषा में विशेषज्ञता रखता है, और Llama Pro, जो बेस मॉडल का एक उन्नत संस्करण है।
Mistral एक ओपन मॉडल है जो उच्च प्रदर्शन और दक्षता पर केंद्रित है। यह Mixture-of-Experts दृष्टिकोण का उपयोग करता है, जो विशेषज्ञ मॉडल्स के समूह को एक सिस्टम में संयोजित करता है, जहां इनपुट के आधार पर कुछ मॉडल्स का चयन किया जाता है। इससे गणना अधिक प्रभावी होती है क्योंकि मॉडल केवल उन इनपुट्स को संबोधित करते हैं जिनमें वे विशेषज्ञ होते हैं।
Mistral के फाइन-ट्यून किए गए संस्करणों के कुछ उदाहरण हैं BioMistral, जो चिकित्सा क्षेत्र पर केंद्रित है, और OpenMath Mistral, जो गणितीय गणना करता है।
Falcon एक LLM है जिसे Technology Innovation Institute (TII) ने बनाया है। Falcon-40B को 40 बिलियन पैरामीटर पर प्रशिक्षित किया गया था, जिसे GPT-3 की तुलना में कम कंप्यूट बजट के साथ बेहतर प्रदर्शन करने वाला दिखाया गया है। इसका कारण FlashAttention एल्गोरिदम और मल्टीक्वेरी अटेंशन का उपयोग है, जो अनुमान समय पर मेमोरी आवश्यकताओं को कम करता है। इस कम अनुमान समय के साथ, Falcon-40B चैट अनुप्रयोगों के लिए उपयुक्त है।
Falcon के फाइन-ट्यून किए गए संस्करणों के कुछ उदाहरण हैं OpenAssistant, जो ओपन मॉडल्स पर आधारित एक सहायक है, और GPT4ALL, जो बेस मॉडल की तुलना में उच्च प्रदर्शन प्रदान करता है।
ओपन मॉडल चुनने का कोई एक उत्तर नहीं है। शुरू करने के लिए एक अच्छा स्थान Azure AI Studio के टास्क द्वारा फ़िल्टर फीचर का उपयोग करना है। इससे आपको यह समझने में मदद मिलेगी कि मॉडल को किन प्रकार के कार्यों के लिए प्रशिक्षित किया गया है। Hugging Face भी एक LLM लीडरबोर्ड बनाए रखता है जो आपको कुछ मेट्रिक्स के आधार पर सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल दिखाता है।
विभिन्न प्रकारों के बीच LLMs की तुलना करते समय, Artificial Analysis एक और उत्कृष्ट संसाधन है:
स्रोत: Artificial Analysis
यदि आप किसी विशिष्ट उपयोग मामले पर काम कर रहे हैं, तो उसी क्षेत्र पर केंद्रित फाइन-ट्यून किए गए संस्करणों की खोज प्रभावी हो सकती है। कई ओपन मॉडल्स के साथ प्रयोग करना यह देखने के लिए कि वे आपकी और आपके उपयोगकर्ताओं की अपेक्षाओं के अनुसार कैसे प्रदर्शन करते हैं, एक अच्छी प्रथा है।
ओपन मॉडल्स का सबसे अच्छा हिस्सा यह है कि आप उनके साथ काम करना काफी जल्दी शुरू कर सकते हैं। Azure AI Foundry Model Catalog देखें, जिसमें Hugging Face का एक विशेष संग्रह है जिसमें ये मॉडल शामिल हैं जिन पर हमने यहां चर्चा की है।
इस पाठ को पूरा करने के बाद, हमारे Generative AI Learning collection को देखें ताकि आप अपनी जनरेटिव AI ज्ञान को और बढ़ा सकें!
अस्वीकरण:
यह दस्तावेज़ AI अनुवाद सेवा Co-op Translator का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ अपनी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सलाह दी जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं।