Uma questão importante para todas as aplicações de IA é a relevância dos recursos de IA, já que este é um campo que evolui rapidamente. Para garantir que sua aplicação permaneça relevante, confiável e robusta, é necessário monitorá-la, avaliá-la e melhorá-la continuamente. É aqui que entra o ciclo de vida da IA generativa.
O ciclo de vida da IA generativa é um framework que orienta você pelas etapas de desenvolvimento, implantação e manutenção de uma aplicação de IA generativa. Ele ajuda a definir seus objetivos, medir seu desempenho, identificar desafios e implementar soluções. Também auxilia a alinhar sua aplicação com os padrões éticos e legais do seu domínio e das partes interessadas. Ao seguir o ciclo de vida da IA generativa, você garante que sua aplicação esteja sempre entregando valor e satisfazendo seus usuários.
Neste capítulo, você irá:
- Compreender a Mudança de Paradigma de MLOps para LLMOps
- O Ciclo de Vida de LLM
- Ferramentas para o Ciclo de Vida
- Métricas e Avaliação do Ciclo de Vida
Os LLMs são uma nova ferramenta no arsenal da Inteligência Artificial. Eles são incrivelmente poderosos em tarefas de análise e geração para aplicações, mas esse poder traz algumas consequências na forma como otimizamos tarefas de IA e Aprendizado de Máquina Clássico.
Com isso, precisamos de um novo paradigma para adaptar essa ferramenta de maneira dinâmica, com os incentivos corretos. Podemos categorizar as aplicações de IA mais antigas como "Apps de ML" e as mais recentes como "Apps de IA Generativa" ou simplesmente "Apps de IA", refletindo a tecnologia e as técnicas predominantes na época. Isso muda nossa narrativa de várias maneiras. Veja a comparação abaixo.
Note que no LLMOps estamos mais focados nos desenvolvedores de aplicativos, utilizando integrações como ponto-chave, usando "Modelos como Serviço" e pensando nos seguintes pontos para métricas:
- Qualidade: Qualidade das respostas
- Prejuízo: IA responsável
- Honestidade: Fundamentação das respostas (Faz sentido? Está correto?)
- Custo: Orçamento da solução
- Latência: Tempo médio para resposta de tokens
Primeiro, para entender o ciclo de vida e as modificações, vamos observar o infográfico a seguir.
Como você pode notar, isso é diferente dos ciclos de vida usuais do MLOps. Os LLMs têm muitos novos requisitos, como engenharia de prompts, diferentes técnicas para melhorar a qualidade (Fine-Tuning, RAG, Meta-Prompts), diferentes avaliações e responsabilidade com IA responsável, e, por fim, novas métricas de avaliação (Qualidade, Prejuízo, Honestidade, Custo e Latência).
Por exemplo, veja como ideamos. Usamos engenharia de prompts para experimentar com vários LLMs e explorar possibilidades para testar se suas hipóteses podem estar corretas.
Note que isso não é linear, mas sim ciclos integrados, iterativos e com um ciclo abrangente.
Como podemos explorar essas etapas? Vamos detalhar como construir um ciclo de vida.
Isso pode parecer um pouco complicado, então vamos focar nos três grandes passos primeiro.
- Ideação/Exploração: Exploração. Aqui podemos explorar de acordo com as necessidades do negócio. Prototipar, criar um PromptFlow e testar se é eficiente o suficiente para nossa hipótese.
- Construção/Aprimoramento: Implementação. Agora começamos a avaliar conjuntos de dados maiores, implementar técnicas como Fine-Tuning e RAG para verificar a robustez da solução. Se não funcionar, reimplementar, adicionar novos passos no fluxo ou reestruturar os dados pode ajudar. Após testar nosso fluxo e escala, se funcionar e atender às métricas, está pronto para o próximo passo.
- Operacionalização: Integração. Agora adicionamos sistemas de monitoramento e alertas ao sistema, implantação e integração da aplicação ao nosso aplicativo.
Depois, temos o ciclo abrangente de Gestão, focando em segurança, conformidade e governança.
Parabéns, agora sua aplicação de IA está pronta para ser operacionalizada. Para uma experiência prática, confira o Demo do Contoso Chat.
Agora, quais ferramentas podemos usar?
Para ferramentas, a Microsoft oferece a Plataforma Azure AI e o PromptFlow para facilitar e tornar seu ciclo fácil de implementar e pronto para uso.
A Plataforma Azure AI permite que você use o AI Studio. O AI Studio é um portal web que permite explorar modelos, exemplos e ferramentas. Gerenciar seus recursos, fluxos de desenvolvimento de UI e opções de SDK/CLI para desenvolvimento orientado por código.
O Azure AI permite que você utilize múltiplos recursos para gerenciar suas operações, serviços, projetos, busca vetorial e necessidades de banco de dados.
Construa, desde Provas de Conceito (POC) até aplicações em larga escala com o PromptFlow:
- Projete e construa aplicativos no VS Code, com ferramentas visuais e funcionais
- Teste e ajuste seus aplicativos para IA de qualidade, com facilidade
- Use o Azure AI Studio para integrar e iterar com a nuvem, fazer push e deploy para integração rápida
Incrível! Agora aprenda mais sobre como estruturamos uma aplicação para usar os conceitos com o App Contoso Chat, para ver como a Advocacia na Nuvem aplica esses conceitos em demonstrações. Para mais conteúdo, confira nossa sessão de breakout no Ignite!
Agora, confira a Lição 15 para entender como Geração Aumentada por Recuperação e Bancos de Dados Vetoriais impactam a IA Generativa e ajudam a criar aplicações mais envolventes!
Aviso Legal:
Este documento foi traduzido utilizando o serviço de tradução por IA Co-op Translator. Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automatizadas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autoritativa. Para informações críticas, recomenda-se a tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução.