ওপেন-সোর্স LLMs এর জগৎ উত্তেজনাপূর্ণ এবং ক্রমাগত পরিবর্তিত হচ্ছে। এই পাঠের লক্ষ্য হলো ওপেন সোর্স মডেলগুলোর একটি গভীর দৃষ্টিভঙ্গি প্রদান করা। যদি আপনি জানতে চান কিভাবে প্রোপাইটারি মডেলগুলি ওপেন সোর্স মডেলগুলোর সাথে তুলনা করে, তাহলে যান "Exploring and Comparing Different LLMs" পাঠে। এই পাঠে ফাইন-টিউনিং বিষয়টিও আলোচনা করা হবে, তবে আরও বিস্তারিত ব্যাখ্যা পাওয়া যাবে "Fine-Tuning LLMs" পাঠে।
- ওপেন সোর্স মডেল সম্পর্কে ধারণা লাভ করা
- ওপেন সোর্স মডেল নিয়ে কাজ করার সুবিধাগুলো বোঝা
- Hugging Face এবং Azure AI Studio তে উপলব্ধ ওপেন মডেলগুলো অন্বেষণ করা
ওপেন সোর্স সফটওয়্যার বিভিন্ন ক্ষেত্রে প্রযুক্তির বৃদ্ধিতে গুরুত্বপূর্ণ ভূমিকা পালন করেছে। Open Source Initiative (OSI) ১০টি মানদণ্ড নির্ধারণ করেছে সফটওয়্যারকে ওপেন সোর্স হিসেবে শ্রেণীবদ্ধ করার জন্য। সোর্স কোড অবশ্যই OSI অনুমোদিত লাইসেন্সের অধীনে উন্মুক্তভাবে শেয়ার করতে হবে।
যদিও LLMs এর উন্নয়ন সফটওয়্যার উন্নয়নের সাথে কিছু মিল রয়েছে, প্রক্রিয়াটি একেবারেই একই নয়। এই কারণে LLMs এর প্রেক্ষাপটে ওপেন সোর্সের সংজ্ঞা নিয়ে সম্প্রদায়ে অনেক আলোচনা হয়েছে। একটি মডেলকে ঐতিহ্যবাহী ওপেন সোর্স সংজ্ঞার সাথে সামঞ্জস্যপূর্ণ করতে নিম্নলিখিত তথ্যগুলি প্রকাশ্যে থাকা উচিত:
- মডেল প্রশিক্ষণের জন্য ব্যবহৃত ডেটাসেট।
- প্রশিক্ষণের অংশ হিসেবে সম্পূর্ণ মডেল ওজন।
- মূল্যায়ন কোড।
- ফাইন-টিউনিং কোড।
- সম্পূর্ণ মডেল ওজন এবং প্রশিক্ষণ মেট্রিক্স।
বর্তমানে খুব কম মডেলই এই মানদণ্ড পূরণ করে। Allen Institute for Artificial Intelligence (AllenAI) দ্বারা তৈরি OLMo মডেল এই শ্রেণীতে পড়ে।
এই পাঠে, আমরা মডেলগুলোকে "ওপেন মডেল" হিসেবে উল্লেখ করব কারণ লেখার সময় তারা উপরের মানদণ্ডের সাথে পুরোপুরি মেলে না।
অত্যন্ত কাস্টমাইজযোগ্য - ওপেন মডেলগুলি বিস্তারিত প্রশিক্ষণ তথ্য সহ প্রকাশিত হওয়ায়, গবেষক এবং ডেভেলপাররা মডেলের অভ্যন্তরীণ অংশ পরিবর্তন করতে পারেন। এটি বিশেষায়িত মডেল তৈরির সুযোগ দেয় যা নির্দিষ্ট কাজ বা গবেষণার ক্ষেত্রে ফাইন-টিউন করা হয়। এর কিছু উদাহরণ হলো কোড জেনারেশন, গাণিতিক অপারেশন এবং জীববিজ্ঞান।
খরচ - এই মডেলগুলি ব্যবহারের এবং ডিপ্লয়মেন্টের জন্য প্রতি টোকেন খরচ প্রোপাইটারি মডেলগুলোর তুলনায় কম। জেনারেটিভ AI অ্যাপ্লিকেশন তৈরি করার সময়, আপনার ব্যবহারের ক্ষেত্রে এই মডেলগুলোর পারফরম্যান্স বনাম মূল্য বিবেচনা করা উচিত।
উৎস: Artificial Analysis
নমনীয়তা - ওপেন মডেল নিয়ে কাজ করলে আপনি বিভিন্ন মডেল ব্যবহার বা সংমিশ্রণ করার ক্ষেত্রে নমনীয় হতে পারেন। এর একটি উদাহরণ হলো HuggingChat Assistants যেখানে ব্যবহারকারী সরাসরি ইউজার ইন্টারফেসে ব্যবহৃত মডেল নির্বাচন করতে পারেন:
LLama2, মেটা দ্বারা উন্নত একটি ওপেন মডেল যা চ্যাট ভিত্তিক অ্যাপ্লিকেশনের জন্য অপ্টিমাইজ করা হয়েছে। এর ফাইন-টিউনিং পদ্ধতিতে প্রচুর ডায়ালগ এবং মানব প্রতিক্রিয়া অন্তর্ভুক্ত ছিল। এই পদ্ধতির মাধ্যমে মডেল মানব প্রত্যাশার সাথে আরও সামঞ্জস্যপূর্ণ ফলাফল দেয় যা ব্যবহারকারীর অভিজ্ঞতাকে উন্নত করে।
Llama এর ফাইন-টিউন করা সংস্করণের কিছু উদাহরণ হলো Japanese Llama, যা জাপানি ভাষায় বিশেষজ্ঞ এবং Llama Pro, যা বেস মডেলের উন্নত সংস্করণ।
Mistral একটি ওপেন মডেল যা উচ্চ কর্মক্ষমতা এবং দক্ষতার উপর জোর দেয়। এটি Mixture-of-Experts পদ্ধতি ব্যবহার করে, যা বিশেষায়িত একদল বিশেষজ্ঞ মডেলকে একত্রিত করে একটি সিস্টেম তৈরি করে যেখানে ইনপুট অনুযায়ী নির্দিষ্ট মডেলগুলো নির্বাচন করা হয়। এটি গণনাকে আরও কার্যকর করে কারণ মডেলগুলো শুধুমাত্র তাদের বিশেষায়িত ইনপুটগুলোই প্রক্রিয়া করে।
Mistral এর ফাইন-টিউন করা সংস্করণের কিছু উদাহরণ হলো BioMistral, যা চিকিৎসা ক্ষেত্রে ফোকাস করে এবং OpenMath Mistral, যা গাণিতিক গণনা সম্পাদন করে।
Falcon হল Technology Innovation Institute (TII) দ্বারা তৈরি একটি LLM। Falcon-40B ৪০ বিলিয়ন প্যারামিটারে প্রশিক্ষিত যা কম কম্পিউট বাজেটের সাথে GPT-3 এর চেয়ে ভালো পারফরম্যান্স দেখিয়েছে। এর কারণ হলো FlashAttention অ্যালগরিদম এবং multiquery attention ব্যবহার যা ইনফারেন্স সময় মেমোরি প্রয়োজনীয়তা কমায়। এই কম ইনফারেন্স সময়ের কারণে Falcon-40B চ্যাট অ্যাপ্লিকেশনের জন্য উপযুক্ত।
Falcon এর ফাইন-টিউন করা সংস্করণের কিছু উদাহরণ হলো OpenAssistant, যা ওপেন মডেলের উপর ভিত্তি করে তৈরি একটি সহকারী এবং GPT4ALL, যা বেস মডেলের চেয়ে উচ্চতর পারফরম্যান্স প্রদান করে।
একটি ওপেন মডেল নির্বাচন করার জন্য একক উত্তর নেই। শুরু করার জন্য একটি ভালো জায়গা হলো Azure AI Studio এর টাস্ক ফিল্টার ফিচার ব্যবহার করা। এটি আপনাকে বুঝতে সাহায্য করবে মডেলটি কোন ধরনের কাজের জন্য প্রশিক্ষিত। Hugging Face এছাড়াও একটি LLM Leaderboard রক্ষণাবেক্ষণ করে যা নির্দিষ্ট মেট্রিক্সের ভিত্তিতে সেরা পারফর্মিং মডেলগুলো দেখায়।
বিভিন্ন ধরনের LLM তুলনা করার জন্য, Artificial Analysis আরেকটি চমৎকার উৎস:
উৎস: Artificial Analysis
নির্দিষ্ট কোনো ব্যবহারের ক্ষেত্রে কাজ করলে, একই ক্ষেত্রে ফোকাস করা ফাইন-টিউন করা সংস্করণগুলো খোঁজা কার্যকর হতে পারে। একাধিক ওপেন মডেল নিয়ে পরীক্ষা-নিরীক্ষা করে দেখা যে তারা আপনার এবং আপনার ব্যবহারকারীদের প্রত্যাশা অনুযায়ী কেমন পারফর্ম করে, সেটিও একটি ভালো অভ্যাস।
ওপেন মডেল নিয়ে কাজ শুরু করা সবচেয়ে ভালো ব্যাপার হলো আপনি খুব দ্রুত এগিয়ে যেতে পারেন। Azure AI Foundry Model Catalog দেখুন, যেখানে এই মডেলগুলোর একটি নির্দিষ্ট Hugging Face সংগ্রহ রয়েছে যা আমরা এখানে আলোচনা করেছি।
এই পাঠ শেষ করার পর, আমাদের Generative AI Learning collection দেখুন এবং আপনার Generative AI জ্ঞানে উন্নতি চালিয়ে যান!
অস্বীকৃতি:
এই নথিটি AI অনুবাদ সেবা Co-op Translator ব্যবহার করে অনূদিত হয়েছে। আমরা যথাসাধ্য সঠিকতার চেষ্টা করি, তবে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল নথিটি তার নিজস্ব ভাষায়ই কর্তৃত্বপূর্ণ উৎস হিসেবে বিবেচিত হওয়া উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ গ্রহণ করার পরামর্শ দেওয়া হয়। এই অনুবাদের ব্যবহারে সৃষ্ট কোনো ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়ী নই।