O medbench-brasil é um instrumento de avaliação e pesquisa acadêmica sobre o desempenho de modelos de linguagem em provas médicas brasileiras. O projeto não:
- constitui aconselhamento médico, diagnóstico ou recomendação terapêutica
- substitui a avaliação de um profissional de saúde habilitado
- indica que os modelos avaliados devam ou possam ser usados em decisões clínicas reais
- oferece qualquer garantia sobre a precisão, atualidade ou adequação dos dados publicados
Os resultados publicados refletem desempenho em questões de múltipla escolha de provas de revalidação de diploma médico, em condições de avaliação controladas (zero-shot, sem ferramentas, prompt mínimo). Esse formato não mede competência clínica, raciocínio diagnóstico em contexto real ou segurança de recomendações. Desempenho alto em prova escrita não implica segurança clínica.
A análise de contaminação de dados de treino é feita com base em declarações oficiais dos fornecedores sobre cortes de treino e na disponibilidade pública das provas. Alterações não anunciadas em pipelines de treino podem invalidar a classificação de contaminação para edições específicas.
Este projeto é open source sob licença Apache-2.0. Não há suporte comercial nem garantia de qualquer natureza.