এই পাঠটি OpenAI এবং Azure OpenAI এর মূল সংস্থান ব্যবহার করে তৈরি করা হয়েছে, যা পরিভাষা এবং টিউটোরিয়ালের জন্য রেফারেন্স হিসাবে কাজ করে। আপনার নিজের স্ব-নির্দেশিত শিক্ষার যাত্রার জন্য এখানে একটি অসম্পূর্ণ তালিকা দেওয়া হল।
| শিরোনাম/লিংক | বর্ণনা |
|---|---|
| OpenAI মডেলগুলির সাথে ফাইন-টিউনিং | ফাইন-টিউনিং কিছু উদাহরণের উপর প্রশিক্ষণ দিয়ে কয়েকটি শট শেখার উন্নতি করে, যা খরচ বাঁচায়, প্রতিক্রিয়ার গুণমান উন্নত করে এবং নিম্ন-প্রতিবন্ধকতার অনুরোধ সক্ষম করে। OpenAI থেকে ফাইন-টিউনিং এর একটি ওভারভিউ পান। |
| Azure OpenAI এর সাথে ফাইন-টিউনিং কী? | ফাইন-টিউনিং কী (ধারণা) তা বোঝা, কেন এটি দেখতে হবে (উদ্দীপনামূলক সমস্যা), কী তথ্য ব্যবহার করতে হবে (প্রশিক্ষণ) এবং গুণমান পরিমাপ করা |
| ফাইন-টিউনিং দিয়ে একটি মডেল কাস্টমাইজ করুন | Azure OpenAI সার্ভিস আপনাকে ফাইন-টিউনিং ব্যবহার করে আপনার ব্যক্তিগত ডেটাসেটগুলিতে আমাদের মডেলগুলি তৈরি করতে দেয়। Azure AI স্টুডিও, পাইথন SDK বা REST API ব্যবহার করে ফাইন-টিউন (প্রক্রিয়া) নির্বাচন মডেলগুলি কীভাবে করবেন তা শিখুন। |
| LLM ফাইন-টিউনিংয়ের জন্য সুপারিশ | LLM গুলি নির্দিষ্ট ডোমেইন, কাজ বা ডেটাসেটে ভালভাবে কাজ করতে নাও পারে, বা ভুল বা বিভ্রান্তিকর আউটপুট তৈরি করতে পারে। কখন ফাইন-টিউনিং বিবেচনা করবেন এই সমস্যার একটি সম্ভাব্য সমাধান হিসেবে? |
| নিরবিচ্ছিন্ন ফাইন টিউনিং | ক্রমাগত ফাইন-টিউনিং হল একটি ইতিবাচক প্রক্রিয়া যেখানে একটি ইতিমধ্যে ফাইন-টিউন করা মডেলকে একটি বেস মডেল হিসেবে নির্বাচন করে এবং এটি নতুন প্রশিক্ষণের উদাহরণের সেটগুলিতে আরও ফাইন-টিউনিং করা হয়। |
| ফাইন-টিউনিং এবং ফাংশন কলিং | ফাইন-টিউনিং আপনার মডেল ফাংশন কলিং উদাহরণ সহ মডেল আউটপুট উন্নত করতে পারে আরও সঠিক এবং সামঞ্জস্যপূর্ণ আউটপুট পেয়ে - একইভাবে-ফরম্যাট করা প্রতিক্রিয়াগুলির সাথে এবং খরচ সাশ্রয় |
| ফাইন-টিউনিং মডেল: Azure OpenAI নির্দেশিকা | Azure OpenAI তে কোন মডেলগুলি ফাইন-টিউন করা যেতে পারে এবং কোন অঞ্চলে এগুলি উপলব্ধ তা বোঝার জন্য এই টেবিলটি দেখুন। প্রয়োজন হলে তাদের টোকেন সীমা এবং প্রশিক্ষণের ডেটার মেয়াদ উত্তীর্ণ তারিখগুলি দেখুন। |
| ফাইন টিউন বা না ফাইন টিউন করা? সেটাই প্রশ্ন | AI শো এর এই ৩০ মিনিটের অক্টোবর ২০২৩ পর্বটি সুবিধা, অসুবিধা এবং ব্যবহারিক অন্তর্দৃষ্টি নিয়ে আলোচনা করে যা আপনাকে এই সিদ্ধান্ত নিতে সাহায্য করে। |
| LLM ফাইন-টিউনিং দিয়ে শুরু করা | এই AI প্লেবুক সম্পদটি আপনাকে ডেটার প্রয়োজনীয়তা, ফরম্যাটিং, হাইপারপ্যারামিটার ফাইন-টিউনিং এবং চ্যালেঞ্জ/সীমাবদ্ধতা সম্পর্কে জানায় যা আপনার জানা উচিত। |
| টিউটোরিয়াল: Azure OpenAI GPT3.5 Turbo ফাইন-টিউনিং | একটি নমুনা ফাইন-টিউনিং ডেটাসেট তৈরি করা, ফাইন-টিউনিংয়ের জন্য প্রস্তুতি নেওয়া, একটি ফাইন-টিউনিং কাজ তৈরি করা এবং Azure এ ফাইন-টিউন করা মডেল স্থাপন করতে শিখুন। |
| টিউটোরিয়াল: Azure AI স্টুডিওতে Llama 2 মডেল ফাইন-টিউন করা | Azure AI স্টুডিও আপনাকে বড় ভাষার মডেলগুলি আপনার ব্যক্তিগত ডেটাসেটগুলিতে একটি UI-ভিত্তিক কর্মপ্রবাহ ব্যবহার করে কম-কোড বিকাশকারীদের জন্য উপযুক্ত করতে দেয়। এই উদাহরণটি দেখুন। |
| টিউটোরিয়াল:Azure এ একটি একক GPU এর জন্য Hugging Face মডেল ফাইন-টিউন করা | এই নিবন্ধটি Azure DataBricks + Hugging Face Trainer লাইব্রেরির সাথে একটি একক GPU এর সাথে Hugging Face মডেলটি ফাইন-টিউন করার বর্ণনা করে। |
| প্রশিক্ষণ: Azure Machine Learning এর সাথে একটি ফাউন্ডেশন মডেল ফাইন-টিউন করা | Azure Machine Learning এর মডেল ক্যাটালগ আপনাকে আপনার নির্দিষ্ট কাজের জন্য ফাইন-টিউন করতে পারে এমন অনেক ওপেন সোর্স মডেল অফার করে। এই মডিউলটি চেষ্টা করুন AzureML জেনারেটিভ AI লার্নিং পাথ থেকে |
| টিউটোরিয়াল: Azure OpenAI ফাইন-টিউনিং | Microsoft Azure এ W&B ব্যবহার করে GPT-3.5 বা GPT-4 মডেলগুলির ফাইন-টিউনিং মডেল কর্মক্ষমতার বিশদ ট্র্যাকিং এবং বিশ্লেষণ করার অনুমতি দেয়। এই গাইডটি Azure OpenAI এর জন্য নির্দিষ্ট ধাপ এবং বৈশিষ্ট্য সহ OpenAI ফাইন-টিউনিং গাইডের ধারণাগুলিকে প্রসারিত করে। |
এই বিভাগটি অতিরিক্ত সংস্থানগুলিকে ধারণ করে যা অন্বেষণ করার মতো মূল্যবান, তবে এই পাঠে আমাদের কাছে আচ্ছাদন করার সময় ছিল না। এগুলি ভবিষ্যতের পাঠে বা একটি মাধ্যমিক নিয়োগ বিকল্প হিসেবে, পরবর্তী সময়ে আচ্ছাদিত হতে পারে। আপাতত, এই বিষয়ে আপনার নিজের দক্ষতা এবং জ্ঞান তৈরি করতে এগুলি ব্যবহার করুন।
| শিরোনাম/লিংক | বর্ণনা |
|---|---|
| OpenAI কুকবুক: চ্যাট মডেল ফাইন-টিউনিং এর জন্য ডেটা প্রস্তুতি এবং বিশ্লেষণ | এই নোটবুকটি একটি চ্যাট মডেল ফাইন-টিউনিং এর জন্য ব্যবহৃত চ্যাট ডেটাসেটকে পূর্বপ্রক্রিয়াকরণ এবং বিশ্লেষণ করার একটি সরঞ্জাম হিসেবে কাজ করে। এটি ফরম্যাট ত্রুটিগুলি পরীক্ষা করে, মৌলিক পরিসংখ্যান সরবরাহ করে এবং ফাইন-টিউনিং খরচের জন্য টোকেন গণনা অনুমান করে। দেখুন: gpt-3.5-turbo এর জন্য ফাইন-টিউনিং পদ্ধতি। |
| OpenAI কুকবুক: Qdrant সহ Retrieval Augmented Generation (RAG) এর জন্য ফাইন-টিউনিং | এই নোটবুকের লক্ষ্য হল Retrieval Augmented Generation (RAG) এর জন্য OpenAI মডেলগুলিকে কীভাবে ফাইন-টিউন করা যায় তার একটি ব্যাপক উদাহরণ দেখানো। আমরা মডেল কর্মক্ষমতা বাড়াতে এবং কল্পনাকে কমাতে Qdrant এবং Few-Shot Learning ও একত্রিত করব। |
| OpenAI কুকবুক: Weights & Biases সহ GPT ফাইন-টিউনিং | Weights & Biases (W&B) হল AI ডেভেলপার প্ল্যাটফর্ম, মডেল প্রশিক্ষণ, মডেল ফাইন-টিউনিং এবং ফাউন্ডেশন মডেলগুলি ব্যবহার করার জন্য সরঞ্জাম সহ। প্রথমে তাদের OpenAI ফাইন-টিউনিং গাইড পড়ুন, তারপর কুকবুক অনুশীলন চেষ্টা করুন। |
| কমিউনিটি টিউটোরিয়াল Phinetuning 2.0 - ছোট ভাষার মডেলগুলির জন্য ফাইন-টিউনিং | Phi-2, Microsoft-এর নতুন ছোট মডেল, যা উল্লেখযোগ্যভাবে শক্তিশালী কিন্তু কমপ্যাক্ট। এই টিউটোরিয়ালটি আপনাকে একটি অনন্য ডেটাসেট তৈরি করা এবং QLoRA ব্যবহার করে মডেল ফাইন-টিউন করার মাধ্যমে গাইড করবে। |
| Hugging Face টিউটোরিয়াল 2024 সালে Hugging Face এর সাথে LLMs কিভাবে ফাইন-টিউন করবেন | এই ব্লগ পোস্টটি আপনাকে 2024 সালে Hugging Face TRL, Transformers & datasets ব্যবহার করে খোলা LLMs কিভাবে ফাইন-টিউন করবেন তা নিয়ে আলোচনা করে। আপনি একটি ব্যবহারের ক্ষেত্রে সংজ্ঞায়িত করবেন, একটি ডেভেলপমেন্ট পরিবেশ সেটআপ করবেন, একটি ডেটাসেট প্রস্তুত করবেন, মডেলটি ফাইন-টিউন করবেন, এটি পরীক্ষা-পর্যালোচনা করবেন, তারপর এটি উৎপাদনে স্থাপন করবেন। |
| Hugging Face: AutoTrain Advanced | অত্যাধুনিক মেশিন লার্নিং মডেলগুলির দ্রুত এবং সহজ প্রশিক্ষণ এবং স্থাপনাগুলি নিয়ে আসে। রিপোতে YouTube ভিডিও নির্দেশিকা সহ কোলাব-বন্ধুত্বপূর্ণ টিউটোরিয়াল রয়েছে, ফাইন-টিউনিং এর জন্য। সাম্প্রতিক স্থানীয়-প্রথম আপডেট প্রতিফলিত করে। AutoTrain ডকুমেন্টেশন পড়ুন। |
অস্বীকৃতি:
এই নথিটি AI অনুবাদ পরিষেবা Co-op Translator ব্যবহার করে অনুবাদ করা হয়েছে। আমরা যথাসম্ভব সঠিকতা বজায় রাখার চেষ্টা করি, তবে অনুগ্রহ করে সচেতন থাকুন যে স্বয়ংক্রিয় অনুবাদে ভুল বা অসঙ্গতি থাকতে পারে। মূল ভাষায় থাকা নথিটিকে প্রামাণিক উৎস হিসেবে বিবেচনা করা উচিত। গুরুত্বপূর্ণ তথ্যের জন্য, পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদ ব্যবহারের ফলে সৃষ্ট কোনো ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়ী নই।