Pamoka buvo sukurta naudojant pagrindinius OpenAI ir Azure OpenAI šaltinius kaip terminologijos ir mokymų pagrindą. Čia pateikiamas nebaigtinis sąrašas, kuris gali būti naudingas jūsų savarankiško mokymosi kelionėje.
| Pavadinimas/Nuoroda | Aprašymas |
|---|---|
| Fine-tuning with OpenAI Models | Fine-tuning metodas pagerina few-shot mokymąsi, nes leidžia treniruoti modelį su daug daugiau pavyzdžių nei telpa į promptą – taip sumažinamos išlaidos, gerinama atsakymų kokybė ir užtikrinamas mažesnis vėlavimas. Susipažinkite su OpenAI fine-tuning apžvalga. |
| What is Fine-Tuning with Azure OpenAI? | Sužinokite, kas yra fine-tuning (sąvoka), kodėl verta apie tai pagalvoti (problemos motyvacija), kokius duomenis naudoti (mokymui) ir kaip vertinti kokybę. |
| Customize a model with fine-tuning | Azure OpenAI Service leidžia pritaikyti modelius pagal jūsų duomenų rinkinius naudojant fine-tuning. Sužinokite, kaip vyksta fine-tuning procesas su Azure AI Studio, Python SDK ar REST API. |
| Recommendations for LLM fine-tuning | LLM modeliai gali nepakankamai gerai veikti tam tikrose srityse, užduotyse ar su specifiniais duomenų rinkiniais, arba pateikti netikslius ar klaidinančius rezultatus. Kada verta apsvarstyti fine-tuning kaip galimą sprendimą? |
| Continuous Fine Tuning | Nuolatinis fine-tuning – tai iteracinis procesas, kai jau patobulintas modelis pasirenkamas kaip bazinis ir toliau tobulinamas su naujais mokymo pavyzdžiais. |
| Fine-tuning and function calling | Modelio fine-tuning su funkcijų kvietimo pavyzdžiais gali pagerinti rezultatus – atsakymai bus tikslesni, nuoseklesni, vienodos struktūros ir sumažės kaštai. |
| Fine-tuning Models: Azure OpenAI Guidance | Šioje lentelėje rasite, kokius modelius galima tobulinti Azure OpenAI, kokiuose regionuose jie prieinami, jų token limitus ir mokymo duomenų galiojimo datas. |
| To Fine Tune or Not To Fine Tune? That is the Question | Šioje 30 min. 2023 m. spalio AI Show laidoje aptariami fine-tuning privalumai, trūkumai ir praktiniai patarimai, padedantys priimti sprendimą. |
| Getting Started With LLM Fine-Tuning | Šis AI Playbook šaltinis padės suprasti duomenų reikalavimus, formatavimą, hiperparametrų derinimą ir iššūkius/limituotes, kuriuos verta žinoti. |
| Pamoka: Azure OpenAI GPT3.5 Turbo Fine-Tuning | Sužinokite, kaip sukurti pavyzdinį fine-tuning duomenų rinkinį, pasiruošti fine-tuning, sukurti fine-tuning užduotį ir diegti patobulintą modelį Azure aplinkoje. |
| Pamoka: Fine-tune a Llama 2 model in Azure AI Studio | Azure AI Studio leidžia pritaikyti didelius kalbos modelius pagal savo duomenis naudojant UI pagrįstą procesą, tinkantį mažai koduojantiems kūrėjams. Peržiūrėkite šį pavyzdį. |
| Pamoka:Fine-tune Hugging Face models for a single GPU on Azure | Šiame straipsnyje aprašoma, kaip tobulinti Hugging Face modelį naudojant Hugging Face transformers biblioteką vienoje GPU su Azure DataBricks ir Hugging Face Trainer bibliotekomis. |
| Mokymai: Fine-tune a foundation model with Azure Machine Learning | Azure Machine Learning modelių kataloge rasite daug atviro kodo modelių, kuriuos galite pritaikyti savo užduočiai. Išbandykite šį modulį iš AzureML Generative AI Learning Path |
| Pamoka: Azure OpenAI Fine-Tuning | GPT-3.5 ar GPT-4 modelių tobulinimas Microsoft Azure naudojant W&B leidžia detaliai stebėti ir analizuoti modelio veikimą. Šiame gide pateikiami konkretūs žingsniai ir funkcijos, pritaikytos Azure OpenAI, remiantis OpenAI Fine-Tuning gidu. |
Šioje dalyje pateikiami papildomi šaltiniai, kuriuos verta išnagrinėti, nors šioje pamokoje jų nespėjome aptarti. Jie gali būti įtraukti į būsimą pamoką arba pasiūlyti kaip papildoma užduotis vėliau. Kol kas naudokite juos gilindami savo žinias ir įgūdžius šioje srityje.
| Pavadinimas/Nuoroda | Aprašymas |
|---|---|
| OpenAI Cookbook: Data preparation and analysis for chat model fine-tuning | Šis notebook skirtas paruošti ir analizuoti pokalbių duomenų rinkinį, naudojamą modelio tobulinimui. Jis tikrina formatavimo klaidas, pateikia pagrindinę statistiką ir apskaičiuoja tokenų kiekį, kad įvertintumėte fine-tuning kainą. Žiūrėkite: Fine-tuning method for gpt-3.5-turbo. |
| OpenAI Cookbook: Fine-Tuning for Retrieval Augmented Generation (RAG) with Qdrant | Šio notebook tikslas – parodyti, kaip išsamiai tobulinti OpenAI modelius Retrieval Augmented Generation (RAG) užduotims. Taip pat bus integruojamas Qdrant ir Few-Shot Learning, siekiant pagerinti modelio veikimą ir sumažinti netikslumų kiekį. |
| OpenAI Cookbook: Fine-tuning GPT with Weights & Biases | Weights & Biases (W&B) – tai AI kūrėjų platforma su įrankiais modelių mokymui, tobulinimui ir bazinių modelių naudojimui. Pirmiausia perskaitykite jų OpenAI Fine-Tuning gidą, tada išbandykite Cookbook užduotį. |
| Community Tutorial Phinetuning 2.0 - fine-tuning for Small Language Models | Susipažinkite su Phi-2, nauju Microsoft mažuoju modeliu, kuris stebina savo galia ir kompaktiškumu. Šioje pamokoje sužinosite, kaip tobulinti Phi-2, susikurti unikalų duomenų rinkinį ir atlikti fine-tuning naudojant QLoRA. |
| Hugging Face Tutorial How to Fine-Tune LLMs in 2024 with Hugging Face | Šiame tinklaraščio įraše žingsnis po žingsnio parodoma, kaip tobulinti atvirus LLM modelius naudojant Hugging Face TRL, Transformers ir duomenų rinkinius 2024 metais. Apibrėžiate naudojimo atvejį, pasiruošiate aplinką, paruošiate duomenų rinkinį, tobulinate modelį, testuojate ir diegiate į produkciją. |
| Hugging Face: AutoTrain Advanced | Leidžia greičiau ir paprasčiau treniruoti bei diegti pažangiausius mašininio mokymosi modelius. Repo turi Colab pamokas su YouTube vaizdo įrašais, skirtas fine-tuning. Atspindi naujausią local-first atnaujinimą. Skaitykite AutoTrain dokumentaciją |
Atsakomybės atsisakymas:
Šis dokumentas buvo išverstas naudojant dirbtinio intelekto vertimo paslaugą Co-op Translator. Nors siekiame tikslumo, prašome atkreipti dėmesį, kad automatiniai vertimai gali turėti klaidų ar netikslumų. Originalus dokumentas jo gimtąja kalba turėtų būti laikomas autoritetingu šaltiniu. Svarbios informacijos atveju rekomenduojame profesionalų žmogaus vertimą. Mes neatsakome už nesusipratimus ar neteisingą interpretaciją, kilusią dėl šio vertimo naudojimo.