Treinamento aparece nas manchetes, mas inferência é onde o dinheiro vai embora todo mês. Entender como a inferência em cloud funciona, quanto custa de verdade e como otimizar é o que separa projetos de IA rentáveis de projetos que viram problema de orçamento.
O que é inferência (e o que não é)
Treinamento é o processo de ensinar o modelo — envolve GPU intensa, horas ou dias de processamento, e acontece de forma pontual. Inferência é usar o modelo treinado para responder: você envia uma pergunta (prompt), o modelo processa e devolve uma resposta (completion). É o que acontece toda vez que alguém usa seu chatbot, seu assistente de código ou sua análise automática de documentos.
A diferença de escala é enorme: um treinamento pode rodar uma vez por mês. A inferência roda mil vezes por hora — ou por segundo, dependendo do uso. Por isso o custo de inferência é recorrente e cumulativo, enquanto o treinamento é pontual.
Como inferência em cloud funciona
As opções principais:
APIs de modelos prontos (OpenAI, Anthropic, Google): você envia o prompt via HTTP, o provedor executa a inferência no lado deles e retorna a resposta. Sem infraestrutura para gerenciar, cobrança por token. O modelo é deles — você não tem acesso ao peso.
Endpoints gerenciados em cloud (SageMaker, Vertex AI, Azure ML): você faz o deploy de um modelo (próprio ou de repositório como Hugging Face) num endpoint gerenciado pelo cloud provider. A cloud gerencia o hardware, a escala automática e a disponibilidade. Você paga por hora de instância.
Infraestrutura própria ou dedicada: você roda o modelo num servidor com GPU que você controla (on-premises ou cloud privada). Máximo de controle, sem dependência de terceiros, custo fixo previsível.
Custo de inferência: por token vs por hora
Entender a métrica de cobrança é fundamental para fazer a conta certa.
Por token (APIs):
| Modelo | Input (por 1M tokens) | Output (por 1M tokens) |
|---|---|---|
| GPT-4o (OpenAI) | USD 5 | USD 15 |
| Claude 3.5 Sonnet | USD 3 | USD 15 |
| Gemini 1.5 Pro | USD 3,50 | USD 10,50 |
| Llama 3 70B (via API) | USD 0,59 | USD 0,79 |
Preços aproximados — verifique sempre o site do provedor, pois mudam com frequência.
Por hora (endpoints gerenciados):
Uma instância com GPU L4 na AWS custa ~USD 1/hora. Se ela processa 60 requisições por minuto com 1.000 tokens cada, você tem 3.6 milhões de tokens/hora. O custo efetivo por token é USD 0,00028 — muito mais barato que qualquer API, desde que o endpoint esteja ocupado.
A lição: se o volume é alto e constante, endpoint por hora é mais barato. Se o volume é baixo ou imprevisível, API por token é mais eficiente.
Calculando o ponto de inflexão:
- API GPT-4o: USD 15/1M tokens de output
- Endpoint L4 (USD 1/hora) processando 3.6M tokens/hora = USD 0,28/1M tokens
Com 10% de utilização (requisições esporádicas): USD 2,80/1M tokens — ainda mais barato que API. Com 1% de utilização: USD 28/1M tokens — mais caro que API. O breakeven está em torno de 2–5% de utilização contínua.
Latência de inferência: p50 vs p99
Latência de inferência é um dos aspectos mais negligenciados em projetos de IA, especialmente quando a aplicação é interativa (chatbot em tempo real, assistente de código, atendimento ao cliente).
p50 (mediana): 50% das requisições são mais rápidas que esse valor. É o número que aparece nos benchmarks.
p99: 99% das requisições são mais rápidas que esse valor. É o que importa para a experiência do usuário — é o “pior caso frequente”.
Uma API que tem p50 de 500ms pode ter p99 de 5 segundos — quando o servidor está sob carga. Para um chatbot de atendimento ao cliente, 5 segundos de espera por resposta é inaceitável.
Fatores que afetam latência:
- Tamanho do modelo: modelos maiores são mais lentos. Llama 3 8B é mais rápido que Llama 3 70B
- Comprimento do output: mais tokens gerados = mais tempo
- Carga do servidor: endpoints compartilhados têm latência variável sob pico de demanda
- Localização: APIs dos EUA acessadas do Brasil têm latência de rede adicionada (~180ms só de RTT)
Para aplicações em tempo real, avalie sempre o p99 — não só o p50.
Quando usar API de cloud vs modelo próprio
| Critério | API externa | Modelo próprio |
|---|---|---|
| Volume | Baixo / imprevisível | Alto / previsível |
| Dados | Não sensíveis | Sensíveis (LGPD) |
| Latência | Aceitável variabilidade | Controlada |
| Modelo de custo | Por uso (USD) | Fixo (BRL) |
| Operação | Zero | Requer time ou fornecedor |
| Qualidade | Máxima (GPT-4, Claude) | Alta (Llama 3 70B) |
A resposta raramente é binária. Muitas empresas usam os dois: API externa para experimentação e casos de baixo volume, modelo próprio para as cargas em produção que são críticas e intensivas.
Otimizações de inferência
Quantização: reduz a precisão dos parâmetros do modelo (de float32 para int8 ou int4), diminuindo o uso de VRAM e aumentando o throughput com pequena perda de qualidade. Llama 3 70B quantizado em int4 ocupa ~40 GB de VRAM em vez de 140 GB — cabendo em 2 GPUs A100 em vez de 4.
Batching contínuo: em vez de processar uma requisição por vez, o servidor agrupa múltiplas requisições e as processa juntas. vLLM usa batching contínuo por padrão — é um dos motivos pelo qual tem throughput muito maior que Ollama em produção.
KV cache: os modelos calculam “atenção” sobre tokens anteriores a cada geração. Guardar esses cálculos em cache (KV cache) evita recalcular a cada token — o que é fundamental para performance em contextos longos.
Especulative decoding: técnica avançada que usa um modelo menor para “prever” os próximos tokens e o modelo maior para verificar — reduzindo a latência sem perda de qualidade.
Prompt caching: se você tem um system prompt longo que é igual em todas as requisições, alguns provedores (Anthropic, OpenAI) oferecem cache de prompt — você paga apenas pela parte nova de cada requisição, reduzindo custo e latência.
A Adentro oferece infraestrutura dedicada para inferência de IA — GPU exclusiva, contrato em BRL e SLA de disponibilidade. Se você tem volume previsível e quer previsibilidade de custo, fale com a gente.