Como hospedar LLM localmente: Ollama, vLLM e llama.cpp para empresas 2026

Hospedar um LLM (Large Language Model) localmente significa rodar o modelo na sua própria infraestrutura, sem enviar dados para APIs externas. É a escolha certa quando privacidade, latência ou custo em escala importam. Este guia mostra como fazer isso do jeito certo.

Por que hospedar LLM localmente

Quatro razões práticas que levam empresas a sair das APIs externas:

1. Privacidade de dados

Cada prompt enviado para OpenAI, Anthropic ou Google passa pelos servidores desses provedores. Para dados de clientes, informações médicas, comunicações jurídicas ou propriedade intelectual, isso pode violar a LGPD, políticas internas de segurança ou contratos de confidencialidade. LLM local: nenhum dado sai do seu ambiente.

2. Custo em escala

APIs de LLM cobram por token. Para aplicações com alto volume (processamento em lote de documentos, chatbot com muitos usuários, automação de fluxos), o custo mensal de API pode superar o TCO de hardware próprio em 12–18 meses.

3. Latência controlada

APIs externas têm latência variável (network + filas do servidor). LLM local tem latência determinística — útil para aplicações em tempo real como análise de documentos ao vivo ou assistentes de código integrados ao IDE.

4. Personalização e fine-tuning

Com LLM local, você pode fazer fine-tuning com dados proprietários, ajustar o comportamento do modelo e versionar os pesos junto com o código — controle total que APIs externas não permitem.

Ferramentas para hospedar LLM localmente

Ollama — a mais fácil para começar

Ollama é um servidor de LLM com interface CLI e API REST, projetado para simplicidade. Instala-se em um comando, baixa modelos do repositório oficial e expõe uma API compatível com OpenAI em localhost:11434.

# Instalar (Linux/macOS)
curl -fsSL https://ollama.ai/install.sh | sh

# Baixar e rodar Llama 3.1 8B
ollama run llama3.1:8b

# Rodar como servidor (API REST)
ollama serve

Ideal para: desenvolvimento, prototipagem, uso individual. Limitação: não tem gerenciamento de concorrência avançado para produção com múltiplos usuários.

vLLM — o padrão para produção

vLLM é um servidor de inferência de alta performance com batching contínuo (PagedAttention), que processa múltiplas requisições em paralelo com alta eficiência de VRAM. Expõe API compatível com OpenAI.

# Instalar
pip install vllm

# Servir Llama 3.1 8B Instruct
python -m vllm.entrypoints.openai.api_server   --model meta-llama/Meta-Llama-3.1-8B-Instruct   --tensor-parallel-size 1   --max-model-len 8192

Ideal para: produção com múltiplos usuários, alto throughput, modelos grandes com tensor parallelism.

llama.cpp — CPU e GPU mistas

llama.cpp é um runtime em C++ para modelos no formato GGUF (quantizados). Roda em CPU pura ou com aceleração parcial de GPU (CUDA/Metal). Perfeito para ambientes sem GPU dedicada ou quando o modelo não cabe inteiramente na VRAM.

# Servidor HTTP (compatível com OpenAI)
./llama-server   -m models/llama-3.1-8b-instruct-q4_k_m.gguf   --n-gpu-layers 35 \  # layers na GPU, resto na CPU
  --port 8080   --ctx-size 8192

Comparativo rápido

Requisitos por modelo (vLLM / Ollama)

*Não cabe em 24 GB de VRAM em Q4 sem offload parcial para CPU.

Como implantar passo a passo

Setup mínimo de produção com vLLM

1. SO: Ubuntu 22.04 LTS + drivers NVIDIA (driver 535+ para A100/H100, 525+ para RTX 4090)
2. CUDA: CUDA 12.1+ — instalar via apt com o repositório NVIDIA oficial
3. Python: 3.10–3.11, ambiente isolado (conda ou venv)
4. vLLM: pip install vllm — instala automaticamente dependências PyTorch
5. Modelo: baixar de HuggingFace Hub (huggingface-cli download) ou usar modelos GGUF com llama.cpp
6. Reverse proxy: nginx na frente do servidor de inferência, com autenticação por API key via header
7. Monitoramento: nvidia-smi para VRAM/utilização, Prometheus + Grafana para métricas de throughput e latência

Considerações de produção

• Autenticação: nunca exponha a API do LLM sem autenticação. vLLM e Ollama têm suporte a API keys; adicione nginx com auth_request para controle fino.
• Rate limiting: implemente limits por usuário ou departamento para evitar que um uso intenso degrade a experiência de todos.
• Logging: registre prompts e respostas (com TTL de retenção definido) para auditoria e debugging. Atenção à LGPD — logs com dados pessoais têm requisitos específicos.
• Fallback: para alta disponibilidade, configure fallback para API externa (OpenAI/Anthropic) quando o servidor local estiver sobrecarregado ou indisponível.
• Atualização de modelos: use versionamento de modelos — mantenha o modelo anterior disponível por 30 dias após a atualização para rollback rápido se necessário.

Perguntas frequentes