O mundo dos LLMs open source é empolgante e está em constante evolução. Esta lição tem como objetivo oferecer uma visão aprofundada sobre modelos open source. Se você busca informações sobre como modelos proprietários se comparam aos modelos open source, acesse a lição "Explorando e Comparando Diferentes LLMs". Esta lição também abordará o tema de fine-tuning, mas uma explicação mais detalhada pode ser encontrada na lição "Fine-Tuning LLMs".
- Compreender os modelos open source
- Entender os benefícios de trabalhar com modelos open source
- Explorar os modelos open disponíveis no Hugging Face e no Azure AI Studio
O software open source desempenhou um papel fundamental no crescimento da tecnologia em diversas áreas. A Open Source Initiative (OSI) definiu 10 critérios para software ser classificado como open source. O código-fonte deve ser compartilhado abertamente sob uma licença aprovada pela OSI.
Embora o desenvolvimento de LLMs tenha elementos semelhantes ao desenvolvimento de software, o processo não é exatamente o mesmo. Isso gerou muita discussão na comunidade sobre a definição de open source no contexto dos LLMs. Para que um modelo esteja alinhado com a definição tradicional de open source, as seguintes informações devem estar publicamente disponíveis:
- Conjuntos de dados usados para treinar o modelo.
- Pesos completos do modelo como parte do treinamento.
- O código de avaliação.
- O código de fine-tuning.
- Pesos completos do modelo e métricas de treinamento.
Atualmente, existem poucos modelos que atendem a esses critérios. O modelo OLMo criado pelo Allen Institute for Artificial Intelligence (AllenAI) é um que se encaixa nessa categoria.
Para esta lição, nos referiremos aos modelos como "modelos open" daqui para frente, pois eles podem não corresponder aos critérios acima no momento da escrita.
Altamente Personalizáveis – Como os modelos open são lançados com informações detalhadas de treinamento, pesquisadores e desenvolvedores podem modificar a estrutura interna do modelo. Isso possibilita a criação de modelos altamente especializados, ajustados para uma tarefa ou área de estudo específica. Alguns exemplos são geração de código, operações matemáticas e biologia.
Custo – O custo por token para usar e implantar esses modelos é menor do que o dos modelos proprietários. Ao construir aplicações de IA Generativa, é importante avaliar o desempenho em relação ao preço ao trabalhar com esses modelos no seu caso de uso.
Fonte: Artificial Analysis
Flexibilidade – Trabalhar com modelos open permite maior flexibilidade para usar diferentes modelos ou combiná-los. Um exemplo disso são os Assistentes HuggingChat, onde o usuário pode selecionar o modelo utilizado diretamente na interface:
LLama2, desenvolvido pela Meta, é um modelo open otimizado para aplicações baseadas em chat. Isso se deve ao seu método de fine-tuning, que incluiu uma grande quantidade de diálogos e feedback humano. Com esse método, o modelo gera resultados mais alinhados às expectativas humanas, proporcionando uma melhor experiência ao usuário.
Alguns exemplos de versões fine-tuned do Llama incluem o Japanese Llama, especializado em japonês, e o Llama Pro, que é uma versão aprimorada do modelo base.
Mistral é um modelo open com forte foco em alta performance e eficiência. Ele utiliza a abordagem Mixture-of-Experts, que combina um grupo de modelos especialistas em um único sistema, onde, dependendo da entrada, certos modelos são selecionados para uso. Isso torna o processamento mais eficiente, pois os modelos lidam apenas com os inputs para os quais são especializados.
Alguns exemplos de versões fine-tuned do Mistral incluem o BioMistral, focado no domínio médico, e o OpenMath Mistral, que realiza cálculos matemáticos.
Falcon é um LLM criado pelo Technology Innovation Institute (TII). O Falcon-40B foi treinado com 40 bilhões de parâmetros e demonstrou desempenho superior ao GPT-3 com menor custo computacional. Isso se deve ao uso do algoritmo FlashAttention e da atenção multiquery, que reduzem os requisitos de memória durante a inferência. Com esse tempo de inferência reduzido, o Falcon-40B é adequado para aplicações de chat.
Alguns exemplos de versões fine-tuned do Falcon são o OpenAssistant, um assistente construído com modelos open, e o GPT4ALL, que oferece desempenho superior ao modelo base.
Não há uma resposta única para escolher um modelo open. Um bom ponto de partida é usar o recurso de filtro por tarefa do Azure AI Studio. Isso ajuda a entender para quais tipos de tarefas o modelo foi treinado. O Hugging Face também mantém um LLM Leaderboard que mostra os modelos com melhor desempenho com base em certas métricas.
Ao comparar LLMs entre diferentes tipos, o Artificial Analysis é outro recurso excelente:
Fonte: Artificial Analysis
Se estiver trabalhando em um caso de uso específico, buscar versões fine-tuned focadas na mesma área pode ser eficaz. Experimentar múltiplos modelos open para ver como eles performam de acordo com suas expectativas e as dos seus usuários é outra boa prática.
A melhor parte dos modelos open é que você pode começar a trabalhar com eles rapidamente. Confira o Catálogo de Modelos do Azure AI Studio, que apresenta uma coleção específica do Hugging Face com os modelos que discutimos aqui.
Após concluir esta lição, confira nossa coleção de Aprendizado em IA Generativa para continuar aprimorando seu conhecimento em IA Generativa!
Aviso Legal:
Este documento foi traduzido utilizando o serviço de tradução por IA Co-op Translator. Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução.