LLM Token Efficiency: Toon vs JSON

Comparativo de eficiência entre JSON e Toon usando LLMs locais com Ollama.

Este projeto é uma aplicação Ruby on Rails básica que realiza comparação entre:

• Toon - Formato otimizado e compacto
• JSON - Formato padrão formatado
• JSON Minified - JSON compactado

O objetivo é demonstrar como a estrutura dos dados impacta o custo e a performance.

Instalação e Configuração

1. Instale as dependências:

   bundle install

2. Configure o banco de dados:

   rails db:create db:migrate

3. Dados de exemplo:

   rails examples:users

Configuração do Ollama 🦙

Certifique-se de que o Ollama está instalado e em execução (ollama serve). Ele estará na url http://localhost:11434.

Em seguida, baixe os modelos utilizados:

ollama pull mistral:latest
ollama pull deepseek-r1:7b
ollama pull llama3.2:3b
ollama pull openchat:7b

Nota: Se você quiser testar outros modelos, pode adicioná-los no arquivo app/controllers/metrics_controller.rb na constante MODELS.

Como Executar

Inicie o servidor de desenvolvimento:

./bin/dev

Como Usar

1. Acesse http://localhost:3000/metrics no seu navegador.
2. A aplicação irá:
   • Carregar os dados do banco.
   • Formatar os dados em Toon, JSON e JSON Minified.
   • Enviar prompts para todos os modelos listados.
   • Exibir uma tabela com o consumo de tokens, tempo de resposta e uma classificação.

Atenção: O carregamento será lento. Depois irá fazer cache. Para limpar o cache, basta apagar a pasta tmp/cache.

Desenvolvido por Roberto Martins