Lekcija je izrađena koristeći brojne osnovne resurse iz OpenAI i Azure OpenAI kao reference za terminologiju i tutorijale. Evo nekog nepotpunog popisa za vaše vlastito samostalno učenje.
| Naslov/Link | Opis |
|---|---|
| Fine-tuning s OpenAI modelima | Fine-tuning poboljšava učenje s malo primjera treniranjem na mnogo više primjera nego što ih može stati u prompt, štedeći vam troškove, poboljšavajući kvalitetu odgovora i omogućavajući zahtjeve s nižom latencijom. Dobijte pregled fine-tuninga od OpenAI. |
| Što je Fine-Tuning s Azure OpenAI? | Razumijte što je fine-tuning (koncept), zašto biste ga trebali razmotriti (motivacijski problem), koje podatke koristiti (treniranje) i kako mjeriti kvalitetu. |
| Prilagodite model s fine-tuningom | Azure OpenAI Service omogućuje vam prilagodbu naših modela vašim osobnim skupovima podataka koristeći fine-tuning. Naučite kako izvršiti fine-tuning (proces) odabira modela koristeći Azure AI Studio, Python SDK ili REST API. |
| Preporuke za fine-tuning LLM-a | LLM-ovi možda ne rade dobro na specifičnim domenama, zadacima ili skupovima podataka, ili mogu proizvoditi netočne ili zavaravajuće rezultate. Kada biste trebali razmotriti fine-tuning kao moguće rješenje za ovo? |
| Kontinuirani Fine Tuning | Kontinuirani fine-tuning je iterativni proces odabira već fino podešenog modela kao osnovnog modela i daljnjeg fine-tuninga na novim skupovima primjera za treniranje. |
| Fine-tuning i pozivanje funkcija | Fine-tuning vašeg modela s primjerima pozivanja funkcija može poboljšati izlaz modela dobivanjem točnijih i dosljednijih rezultata - s jednako formatiranim odgovorima i uštedom troškova. |
| Fine-tuning modela: Azure OpenAI smjernice | Pogledajte ovu tablicu kako biste razumjeli koji se modeli mogu fino podešavati u Azure OpenAI, i u kojim regijama su dostupni. Pogledajte njihove limite tokena i datume isteka podataka za treniranje ako je potrebno. |
| Da li izvršiti Fine-Tuning ili ne? To je pitanje | Ova 30-minutna Oct 2023 epizoda AI Show-a raspravlja o prednostima, nedostacima i praktičnim uvidima koji vam pomažu u donošenju ove odluke. |
| Početak s fine-tuningom LLM-a | Ovaj AI Playbook resurs vas vodi kroz zahtjeve za podatke, formatiranje, fine-tuning hiperparametara i izazove/ograničenja koje biste trebali znati. |
| Tutorial: Azure OpenAI GPT3.5 Turbo Fine-Tuning | Naučite kako stvoriti uzorak skupa podataka za fine-tuning, pripremiti za fine-tuning, stvoriti posao fine-tuninga i implementirati fino podešeni model na Azure. |
| Tutorial: Fine-tune model Llama 2 u Azure AI Studio | Azure AI Studio omogućuje vam prilagodbu velikih jezičnih modela vašim osobnim skupovima podataka koristeći UI-based workflow pogodan za razvojne programere s malo koda. Pogledajte ovaj primjer. |
| Tutorial:Fine-tune Hugging Face modele za jedan GPU na Azure | Ovaj članak opisuje kako fino podesiti Hugging Face model koristeći Hugging Face transformers biblioteku na jednom GPU-u s Azure DataBricks + Hugging Face Trainer bibliotekama. |
| Trening: Fine-tune osnovni model s Azure Machine Learning | Katalog modela u Azure Machine Learning nudi mnoge modele otvorenog koda koje možete fino podesiti za svoj specifični zadatak. Isprobajte ovaj modul iz AzureML Generative AI Learning Path. |
| Tutorial: Azure OpenAI Fine-Tuning | Fine-tuning GPT-3.5 ili GPT-4 modela na Microsoft Azure koristeći W&B omogućava detaljno praćenje i analizu performansi modela. Ovaj vodič proširuje koncepte iz OpenAI Fine-Tuning vodiča s posebnim koracima i značajkama za Azure OpenAI. |
Ovaj dio obuhvaća dodatne resurse koji su vrijedni istraživanja, ali koje nismo imali vremena pokriti u ovoj lekciji. Oni mogu biti pokriveni u budućoj lekciji, ili kao sekundarna opcija zadatka, kasnije. Za sada ih koristite za izgradnju vlastite stručnosti i znanja oko ove teme.
| Naslov/Link | Opis |
|---|---|
| OpenAI Cookbook: Priprema podataka i analiza za fine-tuning chat modela | Ovaj notebook služi kao alat za prethodnu obradu i analizu skupa podataka za chat koji se koristi za fine-tuning chat modela. Provjerava formatne pogreške, pruža osnovne statistike i procjenjuje broj tokena za troškove fine-tuninga. Pogledajte: Metoda fine-tuninga za gpt-3.5-turbo. |
| OpenAI Cookbook: Fine-Tuning za Retrieval Augmented Generation (RAG) s Qdrant | Cilj ovog notebooka je proći kroz sveobuhvatan primjer kako fino podesiti OpenAI modele za Retrieval Augmented Generation (RAG). Također ćemo integrirati Qdrant i učenje s malo primjera kako bismo poboljšali performanse modela i smanjili izmišljotine. |
| OpenAI Cookbook: Fine-tuning GPT s Weights & Biases | Weights & Biases (W&B) je AI platforma za razvojne programere, s alatima za treniranje modela, fine-tuning modela i korištenje osnovnih modela. Prvo pročitajte njihov OpenAI Fine-Tuning vodič, a zatim isprobajte vježbu iz Cookbook-a. |
| Community Tutorial Phinetuning 2.0 - fine-tuning za male jezične modele | Upoznajte Phi-2, novi mali model Microsofta, iznimno moćan, a ipak kompaktan. Ovaj tutorial će vas voditi kroz fine-tuning Phi-2, pokazujući kako izgraditi jedinstveni skup podataka i fino podesiti model koristeći QLoRA. |
| Hugging Face Tutorial Kako fino podesiti LLM-e u 2024. s Hugging Face | Ovaj blog post vas vodi kroz kako fino podesiti otvorene LLM-e koristeći Hugging Face TRL, Transformers & datasets u 2024. Definirate slučaj upotrebe, postavite razvojno okruženje, pripremite skup podataka, fino podesite model, testirate-evaluirate ga, a zatim ga implementirate u produkciju. |
| Hugging Face: AutoTrain Advanced | Donosi brže i lakše treniranje i implementaciju najnaprednijih modela strojnog učenja. Repozitorij ima Colab-friendly tutorijale s YouTube video smjernicama za fine-tuning. Odražava nedavnu lokalno-prvu ažuriranje. Pročitajte AutoTrain dokumentaciju. |
Odricanje odgovornosti:
Ovaj dokument je preveden korištenjem AI usluge za prevođenje Co-op Translator. Iako težimo točnosti, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za kritične informacije preporučuje se profesionalni prijevod od strane čovjeka. Ne odgovaramo za nesporazume ili pogrešna tumačenja koja proizlaze iz korištenja ovog prijevoda.