A lição foi construída usando diversos recursos principais da OpenAI e Azure OpenAI como referência para a terminologia e tutoriais. Aqui está uma lista não exaustiva, para suas jornadas de aprendizado autodirigido.
| Título/Link | Descrição |
|---|---|
| Fine-tuning with OpenAI Models | O fine-tuning melhora o few-shot learning ao treinar com muito mais exemplos do que cabem no prompt, economizando custos, melhorando a qualidade das respostas e permitindo requisições com menor latência. Veja uma visão geral do fine-tuning pela OpenAI. |
| What is Fine-Tuning with Azure OpenAI? | Entenda o que é fine-tuning (conceito), por que você deve considerá-lo (problema motivador), quais dados usar (treinamento) e como medir a qualidade |
| Customize a model with fine-tuning | O Azure OpenAI Service permite que você personalize nossos modelos com seus próprios conjuntos de dados usando fine-tuning. Aprenda como fazer fine-tuning (processo) e selecionar modelos usando Azure AI Studio, Python SDK ou REST API. |
| Recommendations for LLM fine-tuning | LLMs podem não ter bom desempenho em domínios, tarefas ou conjuntos de dados específicos, ou podem gerar respostas imprecisas ou enganosas. Quando você deve considerar o fine-tuning como solução possível para isso? |
| Continuous Fine Tuning | Fine-tuning contínuo é o processo iterativo de selecionar um modelo já fine-tuned como base e refinar ainda mais com novos conjuntos de exemplos de treinamento. |
| Fine-tuning and function calling | Fazer fine-tuning do seu modelo com exemplos de chamadas de função pode melhorar a saída do modelo, gerando respostas mais precisas e consistentes - com respostas formatadas de forma semelhante e economia de custos |
| Fine-tuning Models: Azure OpenAI Guidance | Consulte esta tabela para entender quais modelos podem ser fine-tuned no Azure OpenAI, e em quais regiões estão disponíveis. Verifique seus limites de tokens e datas de expiração dos dados de treinamento, se necessário. |
| To Fine Tune or Not To Fine Tune? That is the Question | Este episódio de 30 minutos do AI Show, de outubro de 2023, discute benefícios, desvantagens e insights práticos para ajudar você a tomar essa decisão. |
| Getting Started With LLM Fine-Tuning | Este recurso do AI Playbook guia você pelos requisitos de dados, formatação, ajuste de hiperparâmetros e desafios/limitações que você deve conhecer. |
| Tutorial: Azure OpenAI GPT3.5 Turbo Fine-Tuning | Aprenda a criar um conjunto de dados de fine-tuning, preparar o fine-tuning, criar um job de fine-tuning e implantar o modelo fine-tuned no Azure. |
| Tutorial: Fine-tune a Llama 2 model in Azure AI Studio | O Azure AI Studio permite personalizar grandes modelos de linguagem com seus próprios dados usando um fluxo de trabalho baseado em UI, ideal para desenvolvedores low-code. Veja este exemplo. |
| Tutorial:Fine-tune Hugging Face models for a single GPU on Azure | Este artigo descreve como fazer fine-tuning de um modelo Hugging Face com a biblioteca transformers em uma única GPU usando Azure DataBricks + bibliotecas Hugging Face Trainer |
| Training: Fine-tune a foundation model with Azure Machine Learning | O catálogo de modelos do Azure Machine Learning oferece muitos modelos open source que você pode fine-tunar para sua tarefa específica. Experimente este módulo que faz parte do AzureML Generative AI Learning Path |
| Tutorial: Azure OpenAI Fine-Tuning | Fazer fine-tuning dos modelos GPT-3.5 ou GPT-4 no Microsoft Azure usando W&B permite um acompanhamento detalhado e análise do desempenho do modelo. Este guia amplia os conceitos do guia de Fine-Tuning da OpenAI com passos e recursos específicos para Azure OpenAI. |
Esta seção reúne recursos adicionais que valem a pena explorar, mas que não tivemos tempo de cobrir nesta lição. Eles podem ser abordados em uma lição futura ou como opção de tarefa secundária, em outra ocasião. Por enquanto, use-os para construir seu próprio conhecimento e expertise sobre o tema.
| Título/Link | Descrição |
|---|---|
| OpenAI Cookbook: Preparação e análise de dados para fine-tuning de modelos de chat | Este notebook serve como ferramenta para pré-processar e analisar o conjunto de dados de chat usado para fine-tuning de um modelo de chat. Ele verifica erros de formato, fornece estatísticas básicas e estima a contagem de tokens para custos de fine-tuning. Veja: Método de fine-tuning para gpt-3.5-turbo. |
| OpenAI Cookbook: Fine-Tuning para Retrieval Augmented Generation (RAG) com Qdrant | O objetivo deste notebook é apresentar um exemplo completo de como fazer fine-tuning de modelos OpenAI para Retrieval Augmented Generation (RAG). Também integraremos Qdrant e Few-Shot Learning para melhorar o desempenho do modelo e reduzir informações falsas. |
| OpenAI Cookbook: Fine-tuning GPT com Weights & Biases | Weights & Biases (W&B) é uma plataforma para desenvolvedores de IA, com ferramentas para treinar modelos, fazer fine-tuning e usar modelos base. Leia primeiro o guia OpenAI Fine-Tuning e depois experimente o exercício do Cookbook. |
| Tutorial da Comunidade Phinetuning 2.0 - fine-tuning para Pequenos Modelos de Linguagem | Conheça o Phi-2, o novo pequeno modelo da Microsoft, surpreendentemente poderoso e compacto. Este tutorial vai guiar você no fine-tuning do Phi-2, mostrando como construir um conjunto de dados único e ajustar o modelo usando QLoRA. |
| Tutorial Hugging Face Como fazer Fine-Tuning de LLMs em 2024 com Hugging Face | Este post no blog explica como fazer fine-tuning de LLMs abertos usando Hugging Face TRL, Transformers e datasets em 2024. Você define um caso de uso, configura o ambiente de desenvolvimento, prepara o conjunto de dados, faz o fine-tuning do modelo, testa e avalia, e depois implanta em produção. |
| Hugging Face: AutoTrain Advanced | Oferece treinamentos e implantações mais rápidos e fáceis de modelos de machine learning de ponta. O repositório tem tutoriais compatíveis com Colab e vídeos no YouTube para guiar o fine-tuning. Reflete a recente atualização local-first. Leia a documentação do AutoTrain |
Aviso Legal:
Este documento foi traduzido utilizando o serviço de tradução por IA Co-op Translator. Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução.