Leksjonen ble bygget ved hjelp av en rekke kjerneressurser fra OpenAI og Azure OpenAI som referanser for terminologi og opplæringer. Her er en ikke-uttømmende liste for dine egne selvstyrte læringsreiser.
| Tittel/Link | Beskrivelse |
|---|---|
| Finjustering med OpenAI-modeller | Finjustering forbedrer få-shot læring ved å trene på mange flere eksempler enn det som kan passe i prompten, sparer kostnader, forbedrer svarkvaliteten og muliggjør forespørsler med lavere ventetid. Få en oversikt over finjustering fra OpenAI. |
| Hva er finjustering med Azure OpenAI? | Forstå hva finjustering er (konsept), hvorfor du bør se på det (motiverende problem), hvilken data du skal bruke (trening) og måle kvaliteten |
| Tilpass en modell med finjustering | Azure OpenAI Service lar deg skreddersy modellene våre til dine personlige datasett ved hjelp av finjustering. Lær hvordan du finjusterer (prosess) utvalgte modeller ved hjelp av Azure AI Studio, Python SDK eller REST API. |
| Anbefalinger for LLM finjustering | LLMs kan ikke fungere godt på spesifikke domener, oppgaver eller datasett, eller kan gi unøyaktige eller misvisende resultater. Når bør du vurdere finjustering som en mulig løsning på dette? |
| Kontinuerlig finjustering | Kontinuerlig finjustering er den iterative prosessen med å velge en allerede finjustert modell som basismodell og finjustere den videre på nye sett med trenings-eksempler. |
| Finjustering og funksjonskalling | Finjustering av modellen din med eksempler på funksjonskalling kan forbedre modellens resultat ved å få mer nøyaktige og konsistente resultater - med likt formaterte svar og kostnadsbesparelser |
| Finjustering av modeller: Azure OpenAI-veiledning | Se opp denne tabellen for å forstå hvilke modeller som kan finjusteres i Azure OpenAI, og hvilke regioner disse er tilgjengelige i. Se opp deres token-grenser og utløpsdatoer for treningsdata om nødvendig. |
| Å finjustere eller ikke finjustere? Det er spørsmålet | Denne 30-min oktober 2023 episoden av AI Show diskuterer fordeler, ulemper og praktiske innsikter som hjelper deg med å ta denne beslutningen. |
| Kom i gang med LLM finjustering | Denne AI Playbook ressursen veileder deg gjennom data krav, formatering, hyperparameter finjustering og utfordringer/begrensninger du bør kjenne til. |
| Opplæring: Azure OpenAI GPT3.5 Turbo finjustering | Lær å lage et eksempel finjusteringsdatasett, forberede for finjustering, lage en finjusteringsjobb, og distribuere den finjusterte modellen på Azure. |
| Opplæring: Finjustere en Llama 2-modell i Azure AI Studio | Azure AI Studio lar deg skreddersy store språkmodeller til dine personlige datasett ved hjelp av en UI-basert arbeidsflyt egnet for lavkodeutviklere. Se dette eksemplet. |
| Opplæring:Finjustere Hugging Face-modeller for en enkelt GPU på Azure | Denne artikkelen beskriver hvordan du finjusterer en Hugging Face-modell med Hugging Face transformers biblioteket på en enkelt GPU med Azure DataBricks + Hugging Face Trainer biblioteker |
| Opplæring: Finjustere en grunnleggende modell med Azure Machine Learning | Modellen katalogen i Azure Machine Learning tilbyr mange åpen kildekode modeller du kan finjustere for din spesifikke oppgave. Prøv dette modulen er fra AzureML Generative AI Learning Path |
| Opplæring: Azure OpenAI finjustering | Finjustering av GPT-3.5 eller GPT-4 modeller på Microsoft Azure ved bruk av W&B tillater detaljert sporing og analyse av modellens ytelse. Denne veiledningen utvider konseptene fra OpenAI finjusteringsveiledningen med spesifikke trinn og funksjoner for Azure OpenAI. |
Denne seksjonen fanger opp tilleggsressurser som er verdt å utforske, men som vi ikke hadde tid til å dekke i denne leksjonen. De kan bli dekket i en fremtidig leksjon, eller som et sekundært oppgavealternativ, på et senere tidspunkt. For nå, bruk dem til å bygge din egen ekspertise og kunnskap rundt dette emnet.
| Tittel/Link | Beskrivelse |
|---|---|
| OpenAI Cookbook: Databehandling og analyse for chatmodell finjustering | Denne notatboken fungerer som et verktøy for å forhåndsbehandle og analysere chat-datasettet brukt for finjustering av en chat-modell. Den sjekker for formateringsfeil, gir grunnleggende statistikk, og estimerer token-antall for finjusteringskostnader. Se: Finjusteringsmetode for gpt-3.5-turbo. |
| OpenAI Cookbook: Finjustering for Retrieval Augmented Generation (RAG) med Qdrant | Målet med denne notatboken er å gå gjennom et omfattende eksempel på hvordan du finjusterer OpenAI-modeller for Retrieval Augmented Generation (RAG). Vi vil også integrere Qdrant og få-shot læring for å forbedre modellens ytelse og redusere fabrikasjoner. |
| OpenAI Cookbook: Finjustering av GPT med Weights & Biases | Weights & Biases (W&B) er AI utviklerplattformen, med verktøy for å trene modeller, finjustere modeller, og utnytte grunnleggende modeller. Les deres OpenAI finjusteringsveiledning først, så prøv Cookbook-øvelsen. |
| Community Tutorial Phinetuning 2.0 - finjustering for små språkmodeller | Møt Phi-2, Microsofts nye små modell, bemerkelsesverdig kraftig men kompakt. Denne opplæringen vil veilede deg gjennom finjustering av Phi-2, og demonstrere hvordan du bygger et unikt datasett og finjusterer modellen ved hjelp av QLoRA. |
| Hugging Face Tutorial Hvordan finjustere LLMs i 2024 med Hugging Face | Dette blogginnlegget veileder deg gjennom hvordan du finjusterer åpne LLMs ved bruk av Hugging Face TRL, Transformers & datasett i 2024. Du definerer et brukstilfelle, setter opp et utviklingsmiljø, forbereder et datasett, finjusterer modellen, tester-evaluerer den, så distribuerer den til produksjon. |
| Hugging Face: AutoTrain Advanced | Gir raskere og enklere trening og distribusjoner av state-of-the-art maskinlæringsmodeller. Repo har Colab-vennlige opplæringer med YouTube videoveiledning, for finjustering. Reflekterer nylig lokal-først oppdatering. Les AutoTrain-dokumentasjonen |
Ansvarsfraskrivelse:
Dette dokumentet er oversatt ved hjelp av AI-oversettelsestjenesten Co-op Translator. Selv om vi streber etter nøyaktighet, vær oppmerksom på at automatiserte oversettelser kan inneholde feil eller unøyaktigheter. Det originale dokumentet på sitt opprinnelige språk bør betraktes som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen.