Uma pergunta importante para todas as aplicações de IA é a relevância dos recursos de IA, já que IA é um campo em rápida evolução, para garantir que sua aplicação permaneça relevante, confiável e robusta, você precisa monitorá-la, avaliá-la e aprimorá-la continuamente. É aqui que entra o ciclo de vida da IA generativa.
O ciclo de vida da IA generativa é uma estrutura que orienta você pelas etapas de desenvolvimento, implantação e manutenção de uma aplicação de IA generativa. Ele ajuda a definir seus objetivos, medir seu desempenho, identificar seus desafios e implementar suas soluções. Também ajuda a alinhar sua aplicação com os padrões éticos e legais do seu domínio e dos seus stakeholders. Seguindo o ciclo de vida da IA generativa, você pode garantir que sua aplicação esteja sempre entregando valor e satisfazendo seus usuários.
Neste capítulo, você irá:
- Compreender a Mudança de Paradigma de MLOps para LLMOps
- O Ciclo de Vida do LLM
- Ferramentas para o Ciclo de Vida
- Métricas e Avaliação do Ciclo de Vida
LLMs são uma nova ferramenta no arsenal da Inteligência Artificial, eles são incrivelmente poderosos em tarefas de análise e geração para aplicações, entretanto esse poder traz algumas consequências em como otimizamos tarefas de IA e de Aprendizado de Máquina clássico.
Com isso, precisamos de um novo Paradigma para adaptar essa ferramenta de forma dinâmica, com os incentivos corretos. Podemos categorizar as aplicações antigas de IA como "Apps de ML" e as aplicações mais novas de IA como "Apps GenAI" ou simplesmente "Apps de IA", refletindo a tecnologia e as técnicas predominantes usadas na época. Isso muda nossa narrativa de várias formas, veja a comparação a seguir.
Note que em LLMOps, focamos mais nos Desenvolvedores de Aplicações, usando integrações como ponto chave, utilizando "Modelos como Serviço" e pensando nos seguintes pontos para as métricas.
- Qualidade: Qualidade da resposta
- Dano: IA Responsável
- Honestidade: Fundamentação da resposta (Faz sentido? Está correta?)
- Custo: Orçamento da solução
- Latência: Tempo médio para resposta de token
Primeiro, para entender o ciclo de vida e as modificações, vamos observar a próxima infografia.
Como você pode notar, isso é diferente dos ciclos de vida usuais do MLOps. LLMs têm muitos novos requisitos, como Prompting, técnicas diferentes para melhorar a qualidade (Fine-Tuning, RAG, Meta-Prompts), avaliação e responsabilidade com IA responsável, por fim, novas métricas de avaliação (Qualidade, Dano, Honestidade, Custo e Latência).
Por exemplo, veja como idealizamos. Usando engenharia de prompt para experimentar vários LLMs e explorar possibilidades para testar se sua Hipótese pode ser correta.
Note que isso não é linear, mas sim loops integrados, iterativos e com um ciclo abrangente.
Como poderíamos explorar essas etapas? Vamos detalhar como construir um ciclo de vida.
Isso pode parecer um pouco complicado, vamos focar primeiro nos três grandes passos.
- Idealizar/Explorar: Exploração, aqui podemos explorar conforme nossas necessidades de negócio. Protótipo, criação de um PromptFlow e testar se é eficiente para nossa Hipótese.
- Construir/Aumentar: Implementação, agora, começamos a avaliar para conjuntos de dados maiores, aplicar técnicas como Fine-tuning e RAG, para verificar a robustez da nossa solução. Se não funcionar, reimplementar, adicionar novos passos no nosso fluxo ou reestruturar os dados pode ajudar. Depois de testar nosso fluxo e escala, se funciona e verifica nossas métricas, está pronto para a próxima etapa.
- Operacionalizar: Integração, agora adicionando Monitoramento e Sistemas de Alertas ao nosso sistema, implantação e integração da aplicação.
Depois, temos o ciclo abrangente de Gestão, focando em segurança, conformidade e governança.
Parabéns, agora você tem sua aplicação de IA pronta para operar. Para uma experiência prática, veja a Demonstração do Contoso Chat.
Agora, quais ferramentas poderíamos usar?
Para ferramentas, a Microsoft oferece a Plataforma Azure AI e o PromptFlow que facilitam e tornam seu ciclo fácil de implementar e pronto para uso.
A Plataforma Azure AI, permite que você use o AI Studio. O AI Studio é um portal web que permite explorar modelos, exemplos e ferramentas. Gerenciar seus recursos, fluxos de desenvolvimento de UI e opções de SDK/CLI para desenvolvimento orientado a código.
Azure AI, permite usar múltiplos recursos para gerenciar suas operações, serviços, projetos, busca vetorial e necessidades de bancos de dados.
Construa, desde Provas de Conceito(POC) até aplicações em grande escala com PromptFlow:
- Projete e construa apps do VS Code, com ferramentas visuais e funcionais
- Teste e ajuste seus apps para IA de qualidade, com facilidade.
- Use o Azure AI Studio para integrar e iterar com nuvem, push e deploy para integração rápida.
Incrível, agora aprenda mais sobre como estruturamos uma aplicação para usar os conceitos com o Contoso Chat App, para ver como Cloud Advocacy adiciona esses conceitos em demonstrações. Para mais conteúdos, confira nossa sessão breakout do Ignite!
Agora, confira a Lição 15, para entender como a Geração Aumentada por Recuperação e Bancos de Dados Vetoriais impactam a IA Generativa e para criar aplicações mais envolventes!
Aviso Legal: Este documento foi traduzido utilizando o serviço de tradução automática Co-op Translator. Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automatizadas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autoritativa. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução.