De les is opgebouwd met behulp van een aantal kernbronnen van OpenAI en Azure OpenAI als referentie voor terminologie en tutorials. Hier is een niet-uitputtende lijst, voor je eigen zelfgestuurde leertrajecten.
| Titel/Link | Beschrijving |
|---|---|
| Fine-tuning with OpenAI Models | Fine-tuning verbetert few-shot learning door te trainen op veel meer voorbeelden dan in de prompt passen, wat kosten bespaart, de kwaliteit van de respons verbetert en lagere latentie bij verzoeken mogelijk maakt. Krijg een overzicht van fine-tuning van OpenAI. |
| What is Fine-Tuning with Azure OpenAI? | Begrijp wat fine-tuning is (concept), waarom je het zou moeten overwegen (motiverend probleem), welke data je moet gebruiken (training) en hoe je de kwaliteit meet |
| Customize a model with fine-tuning | Azure OpenAI Service stelt je in staat onze modellen aan te passen aan je eigen datasets met fine-tuning. Leer hoe je fine-tuning uitvoert (proces) en modellen selecteert via Azure AI Studio, Python SDK of REST API. |
| Recommendations for LLM fine-tuning | LLM’s presteren mogelijk niet goed op specifieke domeinen, taken of datasets, of kunnen onnauwkeurige of misleidende output geven. Wanneer zou je fine-tuning moeten overwegen als mogelijke oplossing? |
| Continuous Fine Tuning | Continue fine-tuning is het iteratieve proces waarbij een al gefinetuned model als basis wordt genomen en verder wordt gefinetuned op nieuwe trainingsvoorbeelden. |
| Fine-tuning and function calling | Fine-tuning van je model met voorbeelden van function calling kan de output verbeteren door nauwkeurigere en consistentere antwoorden te krijgen - met vergelijkbare formatteerbare reacties en kostenbesparing |
| Fine-tuning Models: Azure OpenAI Guidance | Raadpleeg deze tabel om te begrijpen welke modellen gefinetuned kunnen worden in Azure OpenAI, en in welke regio’s ze beschikbaar zijn. Bekijk ook de tokenlimieten en vervaldatums van trainingsdata indien nodig. |
| To Fine Tune or Not To Fine Tune? That is the Question | Deze 30-minuten durende aflevering van oktober 2023 van de AI Show bespreekt voordelen, nadelen en praktische inzichten die je helpen bij het maken van deze keuze. |
| Getting Started With LLM Fine-Tuning | Deze AI Playbook bron begeleidt je door data-eisen, formattering, hyperparameter fine-tuning en uitdagingen/beperkingen die je moet kennen. |
| Tutorial: Azure OpenAI GPT3.5 Turbo Fine-Tuning | Leer hoe je een voorbeeld fine-tuning dataset maakt, je voorbereidt op fine-tuning, een fine-tuning taak aanmaakt en het gefinetunede model op Azure uitrolt. |
| Tutorial: Fine-tune a Llama 2 model in Azure AI Studio | Azure AI Studio stelt je in staat grote taalmodellen aan te passen aan je eigen datasets met een UI-gebaseerde workflow die geschikt is voor low-code ontwikkelaars. Bekijk dit voorbeeld. |
| Tutorial:Fine-tune Hugging Face models for a single GPU on Azure | Dit artikel beschrijft hoe je een Hugging Face model finetunet met de Hugging Face transformers bibliotheek op een enkele GPU met Azure DataBricks + Hugging Face Trainer bibliotheken |
| Training: Fine-tune a foundation model with Azure Machine Learning | De modelcatalogus in Azure Machine Learning biedt veel open source modellen die je kunt finetunen voor je specifieke taak. Probeer deze module uit, onderdeel van het AzureML Generative AI Learning Path |
| Tutorial: Azure OpenAI Fine-Tuning | Fine-tuning van GPT-3.5 of GPT-4 modellen op Microsoft Azure met W&B maakt gedetailleerde tracking en analyse van modelprestaties mogelijk. Deze gids bouwt voort op de concepten uit de OpenAI Fine-Tuning handleiding met specifieke stappen en functies voor Azure OpenAI. |
Deze sectie bevat aanvullende bronnen die de moeite waard zijn om te verkennen, maar die we niet hebben behandeld in deze les. Ze kunnen in een toekomstige les aan bod komen, of als een secundaire opdrachtoptie op een later moment. Gebruik ze voorlopig om je eigen expertise en kennis over dit onderwerp uit te breiden.
| Titel/Link | Beschrijving |
|---|---|
| OpenAI Cookbook: Data preparation and analysis for chat model fine-tuning | Deze notebook dient als hulpmiddel om de chatdataset voor fine-tuning van een chatmodel voor te bereiden en te analyseren. Het controleert op formatfouten, geeft basisstatistieken en schat het aantal tokens voor fine-tuning kosten. Zie: Fine-tuning method for gpt-3.5-turbo. |
| OpenAI Cookbook: Fine-Tuning for Retrieval Augmented Generation (RAG) with Qdrant | Het doel van deze notebook is om een uitgebreid voorbeeld te geven van hoe je OpenAI modellen kunt finetunen voor Retrieval Augmented Generation (RAG). We integreren ook Qdrant en Few-Shot Learning om de modelprestaties te verbeteren en verzinsels te verminderen. |
| OpenAI Cookbook: Fine-tuning GPT with Weights & Biases | Weights & Biases (W&B) is het AI ontwikkelaarsplatform met tools voor het trainen van modellen, fine-tuning en het benutten van foundation modellen. Lees eerst hun OpenAI Fine-Tuning gids, en probeer daarna de Cookbook oefening. |
| Community Tutorial Phinetuning 2.0 - fine-tuning for Small Language Models | Maak kennis met Phi-2, Microsoft’s nieuwe kleine model, verrassend krachtig en compact. Deze tutorial begeleidt je bij het finetunen van Phi-2, laat zien hoe je een unieke dataset bouwt en het model finetunet met QLoRA. |
| Hugging Face Tutorial How to Fine-Tune LLMs in 2024 with Hugging Face | Deze blogpost leidt je door het finetunen van open LLM’s met Hugging Face TRL, Transformers en datasets in 2024. Je definieert een use case, zet een ontwikkelomgeving op, bereidt een dataset voor, finetunet het model, test en evalueert het, en zet het daarna in productie. |
| Hugging Face: AutoTrain Advanced | Biedt snellere en eenvoudigere training en uitrol van state-of-the-art machine learning modellen. De repo bevat Colab-vriendelijke tutorials met YouTube video’s voor begeleiding bij fine-tuning. Reflecteert recente local-first update. Lees de AutoTrain documentatie |
Disclaimer:
Dit document is vertaald met behulp van de AI-vertalingsdienst Co-op Translator. Hoewel we streven naar nauwkeurigheid, dient u er rekening mee te houden dat geautomatiseerde vertalingen fouten of onnauwkeurigheden kunnen bevatten. Het originele document in de oorspronkelijke taal moet als de gezaghebbende bron worden beschouwd. Voor cruciale informatie wordt professionele menselijke vertaling aanbevolen. Wij zijn niet aansprakelijk voor eventuele misverstanden of verkeerde interpretaties die voortvloeien uit het gebruik van deze vertaling.