Como avaliar sua aplicação de IA generativa usando o Microsoft Foundry. Seja você avaliando conversas de uma única rodada ou multilaterais, o Microsoft Foundry fornece ferramentas para avaliar o desempenho e a segurança do modelo.
Para instruções mais detalhadas, veja a Documentação do Microsoft Foundry
Aqui estão os passos para começar:
Pré-requisitos
- Um conjunto de dados de teste no formato CSV ou JSON.
- Um modelo de IA generativa implantado (como Phi-3, GPT 3.5, GPT 4 ou modelos Davinci).
- Um ambiente de execução com uma instância de computação para realizar a avaliação.
O Microsoft Foundry permite avaliar tanto conversas de uma única rodada quanto conversas complexas e multilaterais. Para cenários de Geração Aumentada por Recuperação (RAG), onde o modelo está fundamentado em dados específicos, você pode avaliar o desempenho usando métricas de avaliação integradas. Além disso, é possível avaliar cenários gerais de perguntas e respostas de uma única rodada (não-RAG).
No UI do Microsoft Foundry, navegue até a página Avaliar ou a página Fluxo de Prompt. Siga o assistente de criação de avaliação para configurar uma execução de avaliação. Forneça um nome opcional para sua avaliação. Selecione o cenário que esteja alinhado com os objetivos do seu aplicativo. Escolha uma ou mais métricas de avaliação para analisar a saída do modelo.
Para maior flexibilidade, você pode estabelecer um fluxo de avaliação personalizado. Personalize o processo de avaliação com base em seus requisitos específicos.
Após executar a avaliação, registre, visualize e analise métricas detalhadas de avaliação no Microsoft Foundry. Obtenha insights sobre as capacidades e limitações do seu aplicativo.
Nota O Microsoft Foundry está atualmente em prévia pública, portanto use-o para experimentação e fins de desenvolvimento. Para cargas de trabalho em produção, considere outras opções. Explore a documentação oficial do AI Foundry para mais detalhes e instruções passo a passo.
Aviso Legal:
Este documento foi traduzido utilizando o serviço de tradução por IA Co-op Translator. Embora nos esforcemos pela precisão, por favor, esteja ciente de que traduções automatizadas podem conter erros ou imprecisões. O documento original em sua língua nativa deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se a tradução profissional realizada por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações equivocadas decorrentes do uso desta tradução.