PROVIDERS_OVERVIEW.md

Providers de Inferência — debuga.ai

Visão Geral

O debuga.ai separa a aplicação dos providers de inferência. Essa abstração permite configurar diferentes fornecedores, alterar modelos e definir fallback sem reescrever a interface ou os fluxos principais.

flowchart LR
    Q[Solicitação]
    R[Router]
    O[Ollama local]
    A[OpenAI]
    H[Anthropic]
    G[Google Gemini]
    OR[OpenRouter]
    L[Logs e métricas]

    Q --> R
    R --> O
    R --> A
    R --> H
    R --> G
    R --> OR
    O --> L
    A --> L
    H --> L
    G --> L
    OR --> L

Loading

Providers Documentados

Provider	Modalidade	Uso possível
Ollama	Local	Chat e tarefas compatíveis com modelos instalados
OpenAI	Cloud	Texto, raciocínio e recursos multimodais conforme conta
Anthropic	Cloud	Texto, análise e documentação conforme modelos disponíveis
Google Gemini	Cloud	Texto e multimodal conforme conta
OpenRouter	Gateway cloud	Acesso unificado a modelos suportados pelo serviço

A tabela indica integrações da linha de produto, não garante que todas estejam ativas em uma implantação.

Modelos São Configuração

Nomes de modelos mudam rapidamente. Por isso, a documentação pública evita declarar um modelo específico como permanente. As capturas mostram modelos existentes naquele ambiente e data.

O operador pode definir:

• provider principal;
• modelo padrão por provider;
• provider/modelo por capacidade;
• inferência local habilitada ou desabilitada;
• fallback cloud;
• timeout;
• limites de custo;
• alertas de consumo;
• feature flags multimodais.

Routing

flowchart TB
    I[Entrada]
    P[Políticas de plano e capacidade]
    T[Tipo de tarefa]
    H[Health e disponibilidade]
    B[Limites e orçamento]
    D{Decisão}
    M[Provider + modelo]
    F[Fallback]

    I --> P --> T --> H --> B --> D
    D --> M
    M -->|falha/timeout| F

Loading

Critérios documentados:

Critério	Pergunta
Plano	A capacidade é autorizada para o usuário?
Tarefa	O provider/modelo suporta o tipo solicitado?
Health	O serviço está disponível e dentro do timeout?
Localidade	Inferência local foi habilitada?
Custo	O orçamento configurado permite a chamada?
Fallback	Existe alternativa autorizada?

Inferência Local

Ollama é opcional. Sua disponibilidade depende de:

• CPU, RAM e, quando utilizada, GPU;
• modelo instalado e quantização;
• espaço em disco;
• runtime do container;
• health check;
• limite de concorrência e contexto.

A inferência local pode reduzir processamento externo, mas não elimina a necessidade de políticas de acesso, atualização, backup e monitoramento.

Providers Cloud

Providers cloud oferecem modelos gerenciados e recursos que variam por conta, região e contrato. Antes de habilitar um provider, o operador deve avaliar:

• política de uso e retenção de dados;
• região de processamento;
• preço e limites;
• suporte a streaming e multimodal;
• disponibilidade e rate limits;
• termos aplicáveis à organização.

A plataforma não assume que todos os providers oferecem zero-data-retention.

Fallback

O fallback pode ser utilizado quando o provider principal falha, excede timeout ou não suporta a capacidade. Ele deve respeitar as mesmas políticas de plano e segurança.

sequenceDiagram
    participant A as Aplicação
    participant P as Provider primário
    participant F as Fallback

    A->>P: Solicitação
    alt sucesso
        P-->>A: Resposta
    else erro ou timeout
        A->>F: Nova tentativa autorizada
        F-->>A: Resposta ou erro controlado
    end

Loading

Custos e Observabilidade

Metadados possíveis:

• provider e modelo;
• tipo de tarefa;
• status e fallback;
• duração;
• tokens quando informados;
• custo estimado quando existe tabela configurada;
• usuário/plano responsável.

Custos exibidos são estimativas e podem divergir da fatura do provider.

Pesquisa

vLLM, gateways dedicados, quantização e modelos especializados fazem parte de linhas de pesquisa, não de dependências obrigatórias da produção. Consulte Pesquisa e Evolução LLM.