ओपन-सोर्स LLM चा जग रोमांचक आणि सतत बदलणारा आहे. या धड्याचा उद्देश ओपन-सोर्स मॉडेल्सचा सखोल अभ्यास करणे आहे. जर तुम्हाला मालकी हक्क असलेल्या मॉडेल्स आणि ओपन-सोर्स मॉडेल्स यांची तुलना कशी करायची याबद्दल माहिती हवी असेल, तर "Exploring and Comparing Different LLMs" lesson येथे जा. या धड्यात फाइन-ट्यूनिंगचा विषय देखील समाविष्ट केला जाईल, परंतु अधिक तपशीलवार स्पष्टीकरण "Fine-Tuning LLMs" lesson मध्ये सापडेल.
- ओपन-सोर्स मॉडेल्सची समज मिळवा
- ओपन-सोर्स मॉडेल्ससह काम करण्याचे फायदे समजून घ्या
- Hugging Face आणि Azure AI Studio वर उपलब्ध ओपन मॉडेल्सचा अभ्यास करा
तंत्रज्ञानाच्या विविध क्षेत्रांमध्ये ओपन-सोर्स सॉफ्टवेअरने महत्त्वाची भूमिका बजावली आहे. ओपन-सोर्स इनिशिएटिव्ह (OSI) ने सॉफ्टवेअरला ओपन-सोर्स म्हणून वर्गीकृत करण्यासाठी 10 निकष परिभाषित केले आहेत. स्त्रोत कोड OSI द्वारे मंजूर केलेल्या परवान्याखाली उघडपणे सामायिक केला गेला पाहिजे.
LLMs च्या विकासामध्ये सॉफ्टवेअर विकसित करण्यासारखे घटक असले तरी प्रक्रिया नेहमीच तशी नसते. यामुळे LLMs च्या संदर्भात ओपन-सोर्सची व्याख्या काय असावी यावर समुदायामध्ये बरीच चर्चा झाली आहे. पारंपरिक ओपन-सोर्स व्याख्येशी जुळण्यासाठी मॉडेलसाठी खालील माहिती सार्वजनिकपणे उपलब्ध असावी:
- मॉडेल प्रशिक्षणासाठी वापरलेले डेटासेट.
- पूर्ण मॉडेल वजन प्रशिक्षणाचा भाग म्हणून.
- मूल्यांकन कोड.
- फाइन-ट्यूनिंग कोड.
- पूर्ण मॉडेल वजन आणि प्रशिक्षण मेट्रिक्स.
सध्या फक्त काही मॉडेल्स या निकषांशी जुळतात. OLMo मॉडेल, Allen Institute for Artificial Intelligence (AllenAI) ने तयार केलेले या श्रेणीत बसते.
या धड्यासाठी, आम्ही पुढे "ओपन मॉडेल्स" असा उल्लेख करू कारण लेखनाच्या वेळी ते वरील निकषांशी जुळत नसतील.
अत्यंत सानुकूलनीय - ओपन मॉडेल्स तपशीलवार प्रशिक्षण माहितीने जारी केली जात असल्याने, संशोधक आणि विकसक मॉडेलच्या अंतर्गत भागांमध्ये बदल करू शकतात. यामुळे विशिष्ट कार्य किंवा अभ्यासाच्या क्षेत्रासाठी अत्यंत विशेष मॉडेल्स तयार करणे शक्य होते. याचे काही उदाहरणे म्हणजे कोड जनरेशन, गणितीय ऑपरेशन्स आणि जीवशास्त्र.
खर्च - या मॉडेल्सचा वापर आणि तैनातीसाठी प्रति टोकन खर्च मालकी हक्क असलेल्या मॉडेल्सच्या तुलनेत कमी आहे. जनरेटिव्ह AI अनुप्रयोग तयार करताना, तुमच्या वापराच्या प्रकरणावर काम करताना कार्यक्षमता विरुद्ध किंमत विचारात घेणे आवश्यक आहे.
स्रोत: Artificial Analysis
लवचिकता - ओपन मॉडेल्ससह काम केल्याने वेगवेगळ्या मॉडेल्सचा वापर किंवा त्यांचे संयोजन करण्याच्या बाबतीत लवचिकता मिळते. याचे एक उदाहरण म्हणजे HuggingChat Assistants जिथे वापरकर्ता थेट यूजर इंटरफेसमध्ये वापरलेले मॉडेल निवडू शकतो:
LLama2, Meta ने विकसित केलेले, हे ओपन मॉडेल आहे जे चॅट आधारित अनुप्रयोगांसाठी अनुकूलित आहे. हे त्याच्या फाइन-ट्यूनिंग पद्धतीमुळे आहे, ज्यामध्ये मोठ्या प्रमाणात संवाद आणि मानवी अभिप्राय समाविष्ट होता. या पद्धतीमुळे मॉडेल मानवी अपेक्षांशी अधिक जुळणारे परिणाम तयार करते ज्यामुळे चांगला वापरकर्ता अनुभव मिळतो.
Llama च्या फाइन-ट्यून केलेल्या आवृत्त्यांची काही उदाहरणे म्हणजे Japanese Llama, जे जपानी भाषेत विशेष आहे आणि Llama Pro, जे बेस मॉडेलची सुधारित आवृत्ती आहे.
Mistral हे उच्च कार्यक्षमता आणि कार्यक्षमतेवर लक्ष केंद्रित करणारे ओपन मॉडेल आहे. हे Mixture-of-Experts दृष्टिकोन वापरते जे विशिष्ट तज्ञ मॉडेल्सच्या गटाला एकत्रित करते जिथे इनपुटनुसार विशिष्ट मॉडेल्स निवडली जातात. यामुळे गणना अधिक प्रभावी होते कारण मॉडेल्स फक्त त्यांना विशेष असलेल्या इनपुट्सना संबोधित करतात.
Mistral च्या फाइन-ट्यून केलेल्या आवृत्त्यांची काही उदाहरणे म्हणजे BioMistral, जे वैद्यकीय क्षेत्रावर लक्ष केंद्रित करते आणि OpenMath Mistral, जे गणितीय गणना करते.
Falcon हे Technology Innovation Institute (TII) ने तयार केलेले LLM आहे. Falcon-40B 40 अब्ज पॅरामीटर्सवर प्रशिक्षित केले गेले आहे ज्याने कमी संगणकीय बजेटसह GPT-3 पेक्षा चांगली कामगिरी केली आहे. हे FlashAttention अल्गोरिदम आणि मल्टीक्वेरी अटेंशनचा वापर करते ज्यामुळे अनुमानाच्या वेळी मेमरीच्या गरजा कमी होतात. या कमी अनुमान वेळेसह, Falcon-40B चॅट अनुप्रयोगांसाठी योग्य आहे.
Falcon च्या फाइन-ट्यून केलेल्या आवृत्त्यांची काही उदाहरणे म्हणजे OpenAssistant, ओपन मॉडेल्सवर आधारित असिस्टंट आणि GPT4ALL, जे बेस मॉडेलपेक्षा उच्च कार्यक्षमता देते.
ओपन मॉडेल निवडण्यासाठी एकच उत्तर नाही. सुरुवात करण्यासाठी Azure AI Studio च्या "filter by task" वैशिष्ट्याचा वापर करणे चांगले ठिकाण आहे. यामुळे तुम्हाला मॉडेलने कोणत्या प्रकारच्या कार्यांसाठी प्रशिक्षण दिले आहे हे समजण्यास मदत होईल. Hugging Face देखील LLM Leaderboard ठेवते जे विशिष्ट मेट्रिक्सवर आधारित सर्वोत्तम कार्य करणारी मॉडेल्स दर्शवते.
वेगवेगळ्या प्रकारांमध्ये LLMs ची तुलना करताना, Artificial Analysis हे आणखी एक उत्कृष्ट साधन आहे:
स्रोत: Artificial Analysis
जर विशिष्ट वापराच्या प्रकरणावर काम करत असाल, तर त्याच क्षेत्रावर लक्ष केंद्रित करणाऱ्या फाइन-ट्यून केलेल्या आवृत्त्या शोधणे प्रभावी ठरू शकते. तुमच्या आणि तुमच्या वापरकर्त्यांच्या अपेक्षांनुसार ते कसे कार्य करतात हे पाहण्यासाठी अनेक ओपन मॉडेल्ससह प्रयोग करणे ही आणखी एक चांगली पद्धत आहे.
ओपन मॉडेल्सचा सर्वात चांगला भाग म्हणजे तुम्ही त्यांच्यासोबत काम करणे लवकर सुरू करू शकता. Azure AI Foundry Model Catalog तपासा, ज्यामध्ये आम्ही येथे चर्चा केलेल्या मॉडेल्ससह Hugging Face संग्रह वैशिष्ट्यीकृत आहे.
हा धडा पूर्ण केल्यानंतर, आमचा Generative AI Learning collection तपासा आणि तुमचे जनरेटिव्ह AI ज्ञान वाढवत रहा!
अस्वीकरण:
हा दस्तऐवज AI भाषांतर सेवा Co-op Translator वापरून भाषांतरित करण्यात आला आहे. आम्ही अचूकतेसाठी प्रयत्नशील असलो तरी, कृपया लक्षात ठेवा की स्वयंचलित भाषांतरांमध्ये त्रुटी किंवा अचूकतेचा अभाव असू शकतो. मूळ भाषेतील दस्तऐवज हा अधिकृत स्रोत मानला जावा. महत्त्वाच्या माहितीसाठी व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराचा वापर करून निर्माण होणाऱ्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थासाठी आम्ही जबाबदार राहणार नाही.