இந்த பாடம் OpenAI மற்றும் Azure OpenAI ஆகியவற்றின் முக்கியமான வளங்களை அடிப்படையாகக் கொண்டு உருவாக்கப்பட்டது, குறிப்புகள் மற்றும் பயிற்சிகளுக்கான குறிப்புகளுடன். உங்கள் சொந்த சுய கற்றல் பயணங்களுக்கு உதவ, கீழே ஒரு முழுமையான பட்டியல் கொடுக்கப்பட்டுள்ளது.
| தலைப்பு/இணைப்பு | விளக்கம் |
|---|---|
| OpenAI மாடல்களுடன் Fine-tuning | Fine-tuning என்பது prompt-இல் பொருந்தக்கூடியதை விட அதிகமான உதாரணங்களைப் பயன்படுத்தி பயிற்சி அளிப்பதன் மூலம் few-shot learning-ஐ மேம்படுத்துகிறது. இது செலவுகளை குறைக்கவும், பதில்களின் தரத்தை மேம்படுத்தவும், குறைந்த latency கொண்ட கோரிக்கைகளை இயக்கவும் உதவுகிறது. OpenAI-இன் Fine-tuning பற்றிய ஒரு கண்ணோட்டத்தைப் பெறுங்கள். |
| Azure OpenAI-இல் Fine-Tuning என்றால் என்ன? | Fine-tuning என்றால் என்ன (கோட்பாடு), ஏன் இதைப் பார்க்க வேண்டும் (மோட்டிவேஷன்), எந்த தரவுகளைப் பயன்படுத்த வேண்டும் (பயிற்சி) மற்றும் தரத்தை அளவிடுவது எப்படி என்பதைப் புரிந்துகொள்ளுங்கள். |
| Fine-tuning மூலம் மாடலை தனிப்பயனாக்குதல் | Azure OpenAI சேவை உங்கள் தனிப்பட்ட தரவுத்தொகுப்புகளுக்கு மாடல்களை fine-tuning மூலம் தனிப்பயனாக்க அனுமதிக்கிறது. Azure AI Studio, Python SDK அல்லது REST API-ஐப் பயன்படுத்தி Fine-tuning செய்யும் செயல்முறையை கற்றுக்கொள்ளுங்கள். |
| LLM Fine-tuning பரிந்துரைகள் | குறிப்பிட்ட துறைகள், பணிகள் அல்லது தரவுத்தொகுப்புகளில் LLMs சிறப்பாக செயல்படாமல் இருக்கலாம் அல்லது தவறான அல்லது தவறான வெளியீடுகளை உருவாக்கலாம். Fine-tuning-ஐ ஒரு தீர்வாக எப்போது பரிசீலிக்க வேண்டும் என்பதைப் புரிந்துகொள்ளுங்கள். |
| தொடர்ச்சியான Fine-Tuning | தொடர்ச்சியான Fine-tuning என்பது ஏற்கனவே Fine-tuned செய்யப்பட்ட மாடலை அடிப்படை மாடலாகத் தேர்ந்தெடுத்து புதிய பயிற்சி உதாரணங்களின் தொகுப்புகளில் மேலும் Fine-tuning செய்யும் முறை. |
| Fine-tuning மற்றும் Function Calling | Function Calling உதாரணங்களுடன் உங்கள் மாடலை Fine-tuning செய்வது, மேலும் துல்லியமான மற்றும் ஒழுங்கையான பதில்களைப் பெறுவதன் மூலம் மாடல் வெளியீட்டை மேம்படுத்த உதவுகிறது - ஒரே மாதிரியான வடிவமைப்புடன் பதில்கள் மற்றும் செலவுகளைச் சேமிக்கவும். |
| Fine-tuning Models: Azure OpenAI வழிகாட்டுதல் | Azure OpenAI-இல் எந்த மாடல்களை Fine-tune செய்யலாம் மற்றும் எந்த பிராந்தியங்களில் இவை கிடைக்கின்றன என்பதைப் புரிந்துகொள்ள இந்த அட்டவணையைப் பாருங்கள். தேவைப்பட்டால் அவற்றின் token வரம்புகள் மற்றும் பயிற்சி தரவின் காலாவதியான தேதிகளைப் பாருங்கள். |
| Fine-Tune செய்ய வேண்டுமா வேண்டாமா? அதுதான் கேள்வி | AI Show-இன் இந்த 30 நிமிட அக்டோபர் 2023 எபிசோடு, இந்த முடிவை எடுக்க உதவும் நன்மைகள், குறைகள் மற்றும் நடைமுறைப் பார்வைகளை விவாதிக்கிறது. |
| LLM Fine-Tuning தொடங்குதல் | இந்த AI Playbook வளம், தரவின் தேவைகள், வடிவமைப்பு, hyperparameter fine-tuning மற்றும் நீங்கள் அறிந்திருக்க வேண்டிய சவால்கள்/வரம்புகளை உலாவுகிறது. |
| பயிற்சி: Azure OpenAI GPT3.5 Turbo Fine-Tuning | Fine-tuning dataset உருவாக்குவது, Fine-tuning-க்கு தயாராகுவது, Fine-tuning வேலை உருவாக்குவது மற்றும் Azure-இல் Fine-tuned மாடலை deploy செய்வது ஆகியவற்றை கற்றுக்கொள்ளுங்கள். |
| பயிற்சி: Azure AI Studio-இல் Llama 2 மாடலை Fine-Tune செய்யுங்கள் | Azure AI Studio, குறைந்த குறியீடு கொண்ட டெவலப்பர்களுக்கு ஏற்ற UI அடிப்படையிலான workflow-ஐப் பயன்படுத்தி பெரிய மொழி மாடல்களை உங்கள் தனிப்பட்ட தரவுத்தொகுப்புகளுக்கு தனிப்பயனாக்க அனுமதிக்கிறது. இந்த உதாரணத்தைப் பாருங்கள். |
| பயிற்சி:Azure-இல் ஒரு GPU-க்கு Hugging Face மாடல்களை Fine-Tune செய்யுங்கள் | Hugging Face transformers நூலகத்துடன் Azure DataBricks + Hugging Face Trainer நூலகங்களைப் பயன்படுத்தி Hugging Face மாடலை Fine-tune செய்வது எப்படி என்பதை இந்த கட்டுரை விவரிக்கிறது. |
| பயிற்சி: Azure Machine Learning மூலம் Foundation மாடலை Fine-Tune செய்யுங்கள் | Azure Machine Learning-இல் உள்ள மாடல் காட்சியகம், உங்கள் குறிப்பிட்ட பணிக்காக Fine-tune செய்யக்கூடிய பல திறந்த மூல மாடல்களை வழங்குகிறது. AzureML Generative AI Learning Path இல் இருந்து இந்த தொகுதியை முயற்சிக்கவும். |
| பயிற்சி: Azure OpenAI Fine-Tuning | Microsoft Azure-இல் GPT-3.5 அல்லது GPT-4 மாடல்களை Fine-tuning செய்வது W&B-ஐப் பயன்படுத்தி மாடல் செயல்திறனை விரிவானமாக கண்காணிக்கவும் பகுப்பாய்வு செய்யவும் அனுமதிக்கிறது. இந்த வழிகாட்டி OpenAI Fine-Tuning வழிகாட்டுதலின் கருத்துக்களை Azure OpenAI-க்கு குறிப்பிட்ட படிகள் மற்றும் அம்சங்களுடன் விரிவாக்குகிறது. |
இந்த பகுதி கூடுதல் வளங்களைப் பதிவு செய்கிறது, ஆனால் இந்த பாடத்தில் அவற்றை கையாள நேரம் இல்லை. அவை எதிர்கால பாடத்தில் அல்லது இரண்டாம் நிலை பணிக்கான விருப்பமாக, பின்னர் கையாளப்படலாம். தற்போது, இந்த தலைப்பைச் சுற்றியுள்ள உங்கள் சொந்த திறனையும் அறிவையும் உருவாக்க அவற்றைப் பயன்படுத்துங்கள்.
| தலைப்பு/இணைப்பு | விளக்கம் |
|---|---|
| OpenAI Cookbook: Chat மாடல் Fine-Tuning-க்கு தரவுத் தயாரிப்பு மற்றும் பகுப்பாய்வு | இந்த நோட்புக், chat மாடலை Fine-tuning செய்ய பயன்படுத்தப்படும் chat dataset-ஐ முன்னேற்பாடு செய்யவும் பகுப்பாய்வு செய்யவும் ஒரு கருவியாக செயல்படுகிறது. இது வடிவமைப்பு பிழைகளைச் சரிபார்க்கிறது, அடிப்படை புள்ளிவிவரங்களை வழங்குகிறது மற்றும் Fine-tuning செலவுகளுக்கான token எண்ணிக்கைகளை மதிப்பீடு செய்கிறது. பார்க்க: gpt-3.5-turbo-க்கு Fine-tuning முறை. |
| OpenAI Cookbook: Retrieval Augmented Generation (RAG)-க்கு Fine-Tuning | OpenAI மாடல்களை Retrieval Augmented Generation (RAG)-க்கு Fine-tuning செய்வது எப்படி என்பதை விரிவாக எடுத்துக்கூறும் ஒரு உதாரணத்தை உலாவுவதற்கான நோக்கம் கொண்டது. மாடல் செயல்திறனை மேம்படுத்தவும் fabrication-களை குறைக்க Few-Shot Learning மற்றும் Qdrant-ஐ ஒருங்கிணைக்கவும். |
| OpenAI Cookbook: Weights & Biases உடன் GPT Fine-Tuning | Weights & Biases (W&B) என்பது AI டெவலப்பர் தளமாகும், இது மாடல்களைப் பயிற்சி அளிக்கவும், Fine-tuning செய்யவும் மற்றும் Foundation மாடல்களைப் பயன்படுத்தவும் கருவிகளை வழங்குகிறது. முதலில் OpenAI Fine-Tuning வழிகாட்டுதலைப் படிக்கவும், பின்னர் Cookbook பயிற்சியை முயற்சிக்கவும். |
| சமூக பயிற்சி Phinetuning 2.0 - சிறிய மொழி மாடல்களுக்கு Fine-Tuning | Phi-2 ஐ சந்திக்கவும், Microsoft-இன் புதிய சிறிய மாடல், குறிப்பிடத்தக்க வகையில் சக்திவாய்ந்தது மற்றும் சுருக்கமானது. இந்த பயிற்சி, QLoRA-ஐப் பயன்படுத்தி ஒரு தனித்துவமான dataset உருவாக்குவது மற்றும் மாடலை Fine-tune செய்வது எப்படி என்பதை உங்களுக்குக் காட்டும். |
| Hugging Face பயிற்சி 2024-இல் Hugging Face மூலம் LLM-களை Fine-Tune செய்வது எப்படி | Hugging Face TRL, Transformers மற்றும் datasets-ஐப் பயன்படுத்தி திறந்த LLM-களை Fine-tune செய்வது எப்படி என்பதை இந்த வலைப்பதிவு உலாவுகிறது. நீங்கள் ஒரு பயன்பாட்டு வழக்கை வரையறுக்கிறீர்கள், ஒரு dev சூழலை அமைக்கிறீர்கள், ஒரு dataset தயாரிக்கிறீர்கள், மாடலை Fine-tune செய்கிறீர்கள், அதை சோதித்து-மதிப்பீடு செய்கிறீர்கள், பின்னர் அதை உற்பத்திக்கு deploy செய்கிறீர்கள். |
| Hugging Face: AutoTrain Advanced | அதிநவீன இயந்திர கற்றல் மாடல்களை வேகமாகவும் எளிதாகவும் பயிற்சி அளிக்கவும் deploy செய்ய உதவுகிறது. Repo-வில் YouTube வீடியோ வழிகாட்டுதலுடன் Colab-friendly பயிற்சிகள் உள்ளன, Fine-tuning-க்கு. சமீபத்திய local-first புதுப்பிப்பை பிரதிபலிக்கிறது. AutoTrain ஆவணங்களை படிக்கவும். |
குறிப்பு:
இந்த ஆவணம் Co-op Translator என்ற AI மொழிபெயர்ப்பு சேவையைப் பயன்படுத்தி மொழிபெயர்க்கப்பட்டுள்ளது. நாங்கள் துல்லியத்திற்காக முயற்சிக்கின்றோம், ஆனால் தானியக்க மொழிபெயர்ப்புகளில் பிழைகள் அல்லது தவறுகள் இருக்கக்கூடும் என்பதை தயவுசெய்து கவனத்தில் கொள்ளுங்கள். அதன் தாய்மொழியில் உள்ள மூல ஆவணம் அதிகாரப்பூர்வ ஆதாரமாக கருதப்பட வேண்டும். முக்கியமான தகவல்களுக்கு, தொழில்முறை மனித மொழிபெயர்ப்பு பரிந்துரைக்கப்படுகிறது. இந்த மொழிபெயர்ப்பைப் பயன்படுத்துவதால் ஏற்படும் எந்த தவறான புரிதல்கள் அல்லது தவறான விளக்கங்களுக்கு நாங்கள் பொறுப்பல்ல.