Montar uma infraestrutura para inteligência artificial é hoje um dos maiores desafios técnicos e financeiros que uma empresa pode enfrentar. Ao contrário da TI tradicional — onde um servidor de aplicação pode rodar durante anos com o mesmo hardware — os projetos de IA exigem GPUs de alto desempenho, armazenamento rápido, redes de baixa latência e uma estratégia de segurança que não é opcional.
Este guia reúne tudo o que você precisa saber para dimensionar, comprar ou contratar a infraestrutura certa para o seu projeto de IA: do modelo de linguagem rodando localmente até pipelines de treinamento distribuído em cluster multi-GPU.
A Adentro ajuda empresas a escolher GPU, servidor, cloud e storage ideais para projetos de inteligência artificial — sem pagar por capacidade que você não vai usar.
1. Requisitos mínimos de infraestrutura para IA
Não existe uma fórmula única — o que uma startup de chatbot precisa é muito diferente do que um laboratório de pesquisa que treina modelos de visão computacional. Mas há cinco componentes que toda infraestrutura de IA precisa ter dimensionados corretamente.
Os cinco pilares
| Componente | Função na IA | Ponto crítico |
|---|---|---|
| GPU | Treinamento e inferência | VRAM — define o tamanho do modelo que cabe |
| CPU | Pré-processamento de dados | Não gargalar a GPU de dados |
| RAM | Buffer de dataset em memória | Mínimo 2× a VRAM total do servidor |
| Storage | Dataset, checkpoints, pesos | Throughput — NVMe recomendado |
| Rede | Comunicação entre GPUs (multi-node) | Latência — InfiniBand ou RoCE para clusters |
A regra prática mais importante: a GPU não pode ficar ociosa esperando dados. Uma GPU de R$ 80.000 com utilização de 40% porque o pipeline de dados é lento é pior do que uma configuração mais modesta bem otimizada.
2. GPU — a peça central da infraestrutura de IA
A GPU é o componente que mais diferencia a infraestrutura de IA da TI convencional. Enquanto uma CPU executa dezenas de threads em paralelo, uma GPU moderna executa dezenas de milhares de operações matemáticas simultaneamente — exatamente o que redes neurais precisam.
NVIDIA — padrão da indústria para IA empresarial
A NVIDIA domina o mercado de GPUs para IA com a arquitetura CUDA, que é suportada pelo PyTorch, TensorFlow e praticamente todos os frameworks de ML. Em 2026, as principais opções para uso empresarial são:
H100 SXM5 / H100 PCIe
O H100 é a GPU de referência para treinamento de grandes modelos. Com 80 GB de VRAM HBM3, ele é capaz de executar modelos com bilhões de parâmetros. A variante SXM5 (conectada via NVLink) oferece maior bandwidth entre GPUs no mesmo servidor, enquanto a versão PCIe é mais flexível para servidores convencionais.
- VRAM: 80 GB HBM3
- Bandwidth de memória: 3,35 TB/s (SXM5)
- Ideal para: treinamento de LLMs, fine-tuning de modelos fundação, inferência em larga escala
- Quando evitar: inferência de modelos menores (overkill e muito caro)
A100 PCIe / A100 SXM4
O predecessor do H100 ainda é amplamente usado em data centers e oferece excelente custo-benefício para quem não precisa das últimas otimizações. 40 GB ou 80 GB de VRAM, com suporte a NVLink para configurações multi-GPU.
- VRAM: 40 GB ou 80 GB HBM2e
- Ideal para: fine-tuning de modelos médios (7B–13B parâmetros), inferência de LLMs até 70B com quantização
L40S
O L40S é a opção mais equilibrada para inferência em produção em 2026. Com 48 GB de VRAM GDDR6 e consumo energético menor que o A100, ele oferece throughput competitivo para servir modelos em produção com menor custo por token gerado.
- VRAM: 48 GB GDDR6
- Ideal para: inferência em produção, modelos de visão computacional, renderização + IA
RTX 4090
A GPU consumer de última geração com 24 GB de VRAM. É a opção para PMEs que estão começando com IA e precisam de um servidor acessível para rodar modelos quantizados (4-bit, 8-bit) como Llama 3, Mistral ou Phi-3.
- VRAM: 24 GB GDDR6X
- Ideal para: inferência de modelos 7B–13B, prototipagem, fine-tuning com LoRA
- Limitação: não é certificada para ambiente corporativo 24/7 (usa-se RTX 4000 Ada ou L40S para workloads contínuos)
Quanto VRAM você precisa?
A VRAM é o fator limitante mais comum. Um modelo de linguagem precisa, em float16 (FP16), aproximadamente 2 bytes por parâmetro. Com quantização de 4 bits (Q4), esse valor cai para 0,5 bytes por parâmetro.
| Modelo | Parâmetros | VRAM (FP16) | VRAM (Q4) | GPU mínima |
|---|---|---|---|---|
| Phi-3 Mini / Qwen 2.5 3B | 3B | 6 GB | 2 GB | RTX 3060 / L4 |
| Llama 3 8B / Mistral 7B | 7–8B | 16 GB | 5 GB | RTX 4090 (Q4) |
| Llama 3 70B | 70B | 140 GB | 40 GB | 2× A100 40 GB (Q4) |
| Llama 3.1 405B | 405B | 810 GB | 230 GB | 8× H100 80 GB |
Dica prática: para inferência em produção, some 20–30% de VRAM extra além do modelo para os KV-caches de contexto longo. Um modelo de 16 GB pode precisar de 20–22 GB na prática com contextos de 8k tokens.
AMD MI300X — alternativa crescente
A AMD lançou o MI300X com 192 GB de HBM3 — a maior VRAM disponível em uma única GPU em 2026. Isso permite rodar o Llama 3 70B em FP16 puro em uma única placa. O suporte ao ROCm (equivalente ao CUDA) melhorou muito e PyTorch 2.x tem suporte nativo. Para empresas que querem evitar dependência da NVIDIA, é uma opção válida para considerar.
3. CPU, memória RAM e storage
CPU — não economize no processador errado
A GPU faz o trabalho pesado, mas a CPU é responsável por alimentá-la com dados. Para servidores de IA, o processador ideal tem:
- Alto número de cores — para paralelizar o pré-processamento de dados (tokenização, augmentation de imagens, data loading)
- Suporte a PCIe Gen4 ou Gen5 — para não limitar o bandwidth das GPUs
- Canais de memória amplos — DDR5 quad-channel ou mais
Intel Xeon Scalable (4ª/5ª geração) e AMD EPYC (Genoa/Turin) são os dois padrões do mercado enterprise. O EPYC se destaca pelo número de canais DDR5 (até 12 canais no EPYC Turin), o que reduz o gargalo de memória em workloads de IA.
Para servidores entry-level (1–2 GPUs), um Intel Core i9-14900K ou AMD Ryzen 9 7950X são suficientes para projetos de inferência e fine-tuning com LoRA — custam uma fração dos Xeons sem sacrificar throughput na GPU.
RAM — regra do dobro
A regra prática para servidores de IA: instale no mínimo o dobro da VRAM total em RAM do sistema. Um servidor com 2× RTX 4090 (2× 24 GB = 48 GB de VRAM) deve ter pelo menos 96 GB de RAM do sistema — preferencialmente 128 GB para ter margem.
Por quê? Porque os datasets precisam ser pré-carregados em RAM antes de serem enviados para a GPU. Se a RAM for insuficiente, o sistema começa a fazer swap para disco, o que destrói a performance.
Para servidores com GPUs A100 ou H100, o padrão de mercado é 512 GB a 1 TB de RAM DDR5 ECC registrada — a memória ECC é obrigatória para workloads de produção que rodam 24/7.
Storage — o gargalo subestimado
Storage lento é a causa mais frequente de GPUs ociosas em ambientes de treinamento. As diretrizes básicas:
- Sistema operacional e ambiente: NVMe PCIE Gen4 com 1–2 TB. Velocidade de leitura de 7 GB/s é suficiente.
- Dataset de treinamento: NVMe RAID-0 ou armazenamento compartilhado de alta velocidade. Para datasets acima de 10 TB, considere soluções de armazenamento distribuído (Ceph, Lustre ou storage all-flash NFS).
- Checkpoints de modelo: NVMe com backup automático. Um modelo de 70B em FP16 ocupa ~140 GB por checkpoint — com 5 checkpoints salvos, você precisa de ~700 GB só para histórico.
- Arquivo de longo prazo: SATA SSD ou HDD em NAS/SAN é suficiente para versões finais dos modelos e datasets processados.
Para ambientes multiusuário onde várias GPUs acessam o mesmo dataset, um storage all-flash centralizado é essencial. NFS sobre 100GbE com RDMA (NFS-oRDMA) oferece throughput de 10–20 GB/s por servidor — suficiente para até 4 GPUs A100 em paralelo.
4. Rede e conectividade
Treinamento single-node (1 servidor)
Para projetos com um único servidor de GPU, a rede interna é o que mais importa. As GPUs se comunicam via NVLink (NVIDIA) ou XGMI (AMD), que oferece bandwidth de 600–900 GB/s entre GPUs no mesmo servidor — muito mais rápido do que qualquer rede Ethernet.
A conexão de rede para o exterior do servidor precisa de no mínimo 25 GbE para upload de dados de treinamento. Para armazenamento compartilhado de alta velocidade, 100 GbE dedicado.
Treinamento distribuído (cluster multi-node)
Quando o treinamento escala para múltiplos servidores (multi-node), a rede se torna crítica. As GPUs precisam sincronizar gradientes entre si a cada passo de treinamento — latência alta na rede aumenta o tempo de espera e reduz a eficiência do cluster.
O padrão para clusters de IA de alto desempenho é:
- InfiniBand HDR/NDR (200 Gb/s – 400 Gb/s): padrão dos clusters HPC e grandes data centers de IA. Latência de ~1 µs, ideal para all-reduce em treinamento distribuído.
- RoCE v2 (RDMA over Converged Ethernet): alternativa mais barata usando switches 100 GbE/400 GbE com RDMA. Latência de 3–5 µs — suficiente para a maioria dos clusters empresariais.
- Ethernet 100 GbE padrão: funciona, mas com penalidade de performance de 20–40% em cargas de treinamento distribuído intensivo.
Segmentação de rede
Mesmo em clusters menores, é boa prática separar as redes:
- Rede de treinamento (data plane): InfiniBand ou 100 GbE dedicado para comunicação GPU-a-GPU
- Rede de storage: 10–100 GbE dedicado para NFS/NVMe-oF
- Rede de gerenciamento: 1 GbE para IPMI/iDRAC e acesso SSH
5. Cloud pública vs cloud privada vs on-premises
Essa é a decisão mais estratégica de toda a infraestrutura de IA. Não existe resposta única — depende da maturidade do projeto, do volume de dados, dos requisitos de privacidade e do orçamento de longo prazo.
Cloud pública (AWS, Azure, GCP)
Vantagens:
- Sem Capex: paga por hora de uso
- Acesso a hardware de ponta (H100, TPU v5) sem comprar
- Elástico: sobe e desce capacidade para treinamento pontual
Limitações críticas:
- Custo em produção: Um H100 no AWS (p4de.24xlarge) custa cerca de R$ 90–120/hora. Um servidor com 8× A100 comprado custa R$ 1,5–2M e dura 5 anos — a conta fecha em 18–24 meses de uso contínuo.
- Dados sensíveis: modelos treinados com dados de clientes em cloud pública criam riscos de conformidade com a LGPD. Dados que saem do Brasil para servidores nos EUA ou Europa precisam de DPA específico.
- Latência de inferência: para APIs de IA em produção com SLA de baixa latência, a cloud pública adiciona variabilidade de latência de rede.
Cloud privada (o modelo Adentro)
A cloud privada resolve o paradoxo entre flexibilidade e custo-benefício. A infraestrutura fica em data center dedicado com hardware de sua propriedade (ou contratado), isolamento total de rede, e sem custo por hora de GPU.
Para projetos de IA com uso intensivo e contínuo — inferência em produção 24/7, pipelines de fine-tuning recorrentes, RAG (Retrieval-Augmented Generation) com dados internos sensíveis — a cloud privada apresenta TCO 40–60% menor que cloud pública após 18–24 meses.
Veja como calcular o custo total de propriedade da sua infraestrutura no simulador TCO da Adentro.
Abordagem híbrida (o padrão atual)
A maioria das empresas adota um modelo híbrido:
- Cloud privada: inferência em produção, modelos proprietários, dados sensíveis
- Cloud pública (spot instances): treinamento pontual de novos modelos, experimentos
- APIs de IA de terceiros (OpenAI, Anthropic, Google): casos de uso genéricos onde privacidade não é crítica
6. Segurança e conformidade com a LGPD
Infraestrutura de IA processa, treina e armazena dados que frequentemente incluem informações pessoais, dados de clientes e propriedade intelectual. A conformidade com a LGPD (Lei Geral de Proteção de Dados) não é opcional.
Controles obrigatórios para IA com dados sensíveis
- Isolamento de rede: o servidor de GPU não deve ter acesso direto à internet. Tráfego para APIs externas deve passar por proxy e firewall com inspeção SSL.
- Criptografia de dados em repouso: datasets de treinamento e pesos de modelos devem ser armazenados com AES-256. Isso é especialmente crítico se o modelo foi treinado com dados de clientes.
- Auditoria de acesso: quem acessou o modelo, quais dados foram usados, quando. Ferramentas como MLflow e Weights & Biases têm trilha de auditoria nativa.
- Gestão de segredos: chaves de API (OpenAI, Anthropic, HuggingFace) não devem estar em variáveis de ambiente ou arquivos .env no servidor. Use HashiCorp Vault ou AWS Secrets Manager.
- Controle de prompt injection: para LLMs expostos internamente, implemente validação de inputs e outputs para evitar extração de dados de treinamento via prompts adversariais.
Residência de dados e LGPD
A LGPD permite transferência internacional de dados pessoais apenas para países com nível adequado de proteção ou com salvaguardas contratuais (cláusulas padrão). Ao usar cloud pública americana para treinar modelos com dados de clientes brasileiros, você precisa de um Data Processing Agreement (DPA) com o provedor — e documentar isso no seu RIPD (Relatório de Impacto à Proteção de Dados).
Cloud privada ou colocation no Brasil elimina essa complexidade — os dados nunca saem do país.
7. Backup e recuperação de modelos de IA
Modelos de IA são ativos críticos de negócio. Um fine-tuning que levou 400 horas de GPU para ser concluído representa custo real — perder o checkpoint final por falha de storage é tão grave quanto perder um banco de dados de produção.
O que precisa de backup em um ambiente de IA
- Pesos do modelo (weights): o arquivo .pt, .safetensors ou .gguf com os parâmetros treinados
- Checkpoints intermediários: pontos de salvamento durante treinamento longo para poder retomar em caso de falha
- Dataset processado: o dataset pré-processado (tokenizado, dividido em train/val/test) — reprocessar pode levar horas
- Código de treinamento e configurações: scripts, hyperparâmetros, versão do framework
- Metadados de experimentos: logs do MLflow/W&B com métricas de cada run
Estratégia de backup recomendada
Siga a regra 3-2-1 adaptada para IA:
- 3 cópias: servidor de produção + NAS local + backup offsite
- 2 mídias diferentes: NVMe local + armazenamento de objetos (MinIO, S3-compatible)
- 1 offsite: replicação para data center secundário ou cloud (apenas os pesos finais — não os checkpoints intermediários, que são grandes e temporários)
Para checkpoints de modelos grandes (70B = ~140 GB por checkpoint), a estratégia de retenção é importante: mantenha os últimos 3–5 checkpoints em storage rápido, e apenas o checkpoint final em backup offsite.
8. Exemplos de arquitetura por porte de empresa
Arquitetura Entry (PME — até R$ 200 mil)
Perfil: empresa com 50–200 colaboradores que quer automatizar atendimento interno, classificar documentos ou rodar análise de dados com modelos de linguagem.
Hardware:
- 1× Servidor Rack 1U/2U com AMD Ryzen 9 ou Intel Core i9
- 1–2× NVIDIA RTX 4090 (24 GB cada) ou 1× L40S (48 GB)
- 64–128 GB DDR5 RAM
- 2 TB NVMe para SO e modelos + 8–16 TB NAS para datasets
- Rede: 10 GbE para storage
Capacidade: inferência contínua de modelos 7B–13B, fine-tuning com LoRA de modelos até 13B, RAG com corpus de até 100 GB de documentos internos.
Arquitetura Mid-Market (R$ 200 mil – R$ 1 milhão)
Perfil: empresa que já usa IA em produção e precisa de capacidade dedicada para múltiplos modelos e usuários concorrentes.
Hardware:
- 1–2× Servidor Rack 2U com AMD EPYC ou Intel Xeon (3ª/4ª geração)
- 4–8× NVIDIA A100 80 GB ou L40S 48 GB por servidor
- 512 GB DDR5 ECC por servidor
- Storage all-flash NVMe: 8–16 TB por servidor + NAS de 100–200 TB para datasets
- Rede: 100 GbE para storage, 25 GbE para produção
Capacidade: serve modelos até 70B em FP16 com múltiplos usuários simultâneos, fine-tuning paralelo de múltiplos modelos menores, pipelines de computer vision em tempo real.
Arquitetura Enterprise (acima de R$ 1 milhão)
Perfil: empresa de tecnologia, banco, operadora ou grande varejista que usa IA como diferencial competitivo central.
Hardware:
- 4–8× Servidores GPU com 8× H100 SXM5 cada (DGX H100 ou equivalente)
- InfiniBand NDR 400 Gb/s para comunicação entre nós
- Armazenamento paralelo de alta velocidade: all-flash NFS (Weka, VAST Data) ou NVMe-oF
- 1 TB+ DDR5 ECC por servidor
- Rede de gerenciamento separada com IPMI/iDRAC
Capacidade: treinamento de modelos proprietários com bilhões de parâmetros, fine-tuning contínuo com dados de produção, inferência de alto throughput (milhares de requisições/segundo).
9. Quanto custa uma infraestrutura para IA?
Os valores abaixo são referências de mercado para hardware novo em 2026. Preços podem variar conforme câmbio (os principais componentes são cotados em dólar) e configuração específica.
| Componente | Faixa de preço | Observação |
|---|---|---|
| NVIDIA RTX 4090 (24 GB) | R$ 15.000 – 22.000 | Consumer, para protótipos |
| NVIDIA L40S (48 GB) | R$ 90.000 – 130.000 | Enterprise, 24/7 |
| NVIDIA A100 80 GB | R$ 160.000 – 220.000 | Mid-range enterprise |
| NVIDIA H100 SXM5 80 GB | R$ 400.000 – 600.000 | Top de linha treinamento |
| Servidor base (CPU + RAM) | R$ 30.000 – 150.000 | Sem GPU |
| Storage NVMe 2–4 TB | R$ 3.000 – 12.000 | Por unidade |
| Cluster InfiniBand NDR (8 nós) | R$ 300.000 – 600.000 | Switches + HCAs |
Custo total estimado por porte:
- PME (1× servidor + 1 RTX 4090): R$ 40.000 – 100.000 (hardware + instalação)
- Mid-market (2 servidores + 4–8 A100/L40S): R$ 500.000 – 1.500.000
- Enterprise (cluster H100 8 nós): R$ 5.000.000+
Use o simulador TCO da Adentro para comparar o custo total de ownership entre compra própria e contratação de cloud privada gerenciada ao longo de 3 e 5 anos.
10. Checklist de infraestrutura para IA
Antes de fazer qualquer compra ou contratação, valide cada item desta lista:
Dimensionamento
- ✅ Identifiquei o modelo de IA que vou rodar (nome, tamanho em parâmetros)
- ✅ Calculei a VRAM necessária (FP16 ou quantizado) + 20% de margem
- ✅ Defini o workload: inferência contínua, treinamento periódico ou ambos
- ✅ Projetei crescimento: o hardware suporta dobrar o volume em 18 meses?
Hardware
- ✅ GPU certificada para uso 24/7 (não RTX consumer em produção crítica)
- ✅ RAM do sistema = 2× VRAM total + margem para SO
- ✅ NVMe para OS e modelos com velocidade de leitura ≥ 5 GB/s
- ✅ Fonte de alimentação redundante (PSU dual) no servidor de produção
Rede
- ✅ 25 GbE mínimo para uplink do servidor
- ✅ Rede separada para storage (NFS/iSCSI não compartilha com tráfego de produção)
- ✅ InfiniBand ou RoCE configurado se cluster multi-node
Segurança e compliance
- ✅ Inventário de dados pessoais que serão processados/treinados
- ✅ Servidor de GPU isolado da internet (sem acesso direto)
- ✅ Criptografia em repouso para datasets e pesos de modelos
- ✅ DPA assinado com fornecedores de cloud, se dados saem do Brasil
Backup
- ✅ Política de backup dos pesos do modelo definida (frequência, retenção)
- ✅ Checkpoints de treinamento salvos em storage separado do principal
- ✅ Teste de restauração feito antes de iniciar treinamento longo
Nossos arquitetos de TI ajudam empresas a escolher o hardware certo, dimensionar rede e storage, e escolher entre cloud privada e compra própria — com comparativo de custo total de propriedade.
Perguntas frequentes sobre infraestrutura para IA
Qual a diferença entre GPU para gaming e GPU para IA empresarial?
GPUs consumer (RTX 4090, por exemplo) são projetadas para uso intermitente e não têm certificação para operação contínua 24/7. Em ambientes de produção, falham mais cedo, geram mais calor, e não têm suporte técnico empresarial. GPUs enterprise (L40S, A100, H100) têm dissipação passiva superior, certificação para rack e suporte técnico com SLA. Para prototipagem e testes, a RTX 4090 é excelente. Para produção crítica, use hardware enterprise.
Preciso de InfiniBand para treinar modelos de linguagem?
Depende do tamanho do cluster. Para treinamento em um único servidor com múltiplas GPUs (até 8 GPUs no mesmo chassis), o NVLink ou XGMI garante comunicação de alta velocidade entre GPUs sem necessidade de rede externa. InfiniBand é necessário quando o treinamento distribui dados entre múltiplos servidores físicos (multi-node). Para fine-tuning de modelos menores ou inferência em produção, Ethernet 25/100 GbE é suficiente.
Quantos servidores GPU preciso para rodar Llama 3 70B?
Em FP16 (float16), o Llama 3 70B precisa de aproximadamente 140 GB de VRAM. Um servidor com 2× A100 80 GB (160 GB de VRAM total) é suficiente para inferência em FP16. Com quantização Q4 (4 bits), o modelo cabe em aproximadamente 40 GB — um único A100 80 GB ou dois L40S 48 GB com espaço de sobra. Para inferência em produção com múltiplos usuários simultâneos, recomenda-se pelo menos 2–4 GPUs A100/L40S para paralelismo.
Cloud pública ou cloud privada para IA? Como decidir?
A regra prática: se o uso de GPU for constante (mais de 60% do tempo), a cloud privada ou compra própria é mais barata após 18–24 meses. Se o uso for esporádico (treinamento pontual, experimentos), cloud pública com spot instances é mais econômica. Dados sensíveis (saúde, financeiro, dados de clientes) favorecem cloud privada por questões de LGPD e soberania dos dados. Um modelo híbrido — cloud privada para inferência em produção, cloud pública para treinamento esporádico — é a escolha mais comum em 2026.
Como fazer backup de um modelo de IA treinado?
Aplique a regra 3-2-1: 3 cópias dos pesos do modelo, em 2 tipos de storage diferentes, com 1 cópia offsite. Na prática: mantenha o arquivo de pesos (.safetensors ou .gguf) no servidor de produção (cópia 1), faça réplica automática para NAS local (cópia 2), e sincronize periodicamente para armazenamento de objetos offsite — pode ser MinIO em outro data center ou bucket S3 com dados residindo no Brasil (cópia 3). Para modelos grandes (70B+), o backup completo ocupa 140+ GB, então use compressão incremental ou salve apenas as camadas finas (LoRA adapters) do fine-tuning.
A LGPD se aplica ao treinamento de modelos de IA?
Sim. Se o dataset de treinamento contém dados pessoais (nomes, CPFs, e-mails, histórico de compras de clientes), a LGPD se aplica plenamente. Você precisa de base legal para o tratamento (consentimento, execução de contrato, ou legítimo interesse documentado), controles técnicos para evitar memorização indevida de dados pessoais pelo modelo, e um RIPD (Relatório de Impacto à Proteção de Dados). Se os dados saem do Brasil para treinamento em cloud pública americana, é necessário DPA com o provedor. Modelos treinados com dados pseudoanonimizados ou sintéticos têm requisitos menores.
Qual o consumo energético de um servidor de IA?
Um servidor com 4× A100 (TDP de 400W cada) consome aproximadamente 2–2,5 kW de energia (GPUs + CPU + RAM + overhead do servidor). Em uso 24/7 por 30 dias, isso representa 1.440–1.800 kWh/mês. Ao custo médio de R$ 0,80/kWh corporativo, o custo energético mensal é de R$ 1.150 – R$ 1.440 por servidor. Um servidor com 8× H100 pode consumir 8–10 kW, chegando a R$ 5.700 – R$ 7.200/mês só em energia. Isso reforça a importância de dimensionar corretamente — GPUs ociosas consomem energia sem gerar valor.
O que é RAG e qual infraestrutura precisa?
RAG (Retrieval-Augmented Generation) é uma técnica que conecta um modelo de linguagem a uma base de conhecimento externa — seus documentos internos, manuais, contratos — sem precisar retreinar o modelo. A infraestrutura para RAG precisa de: um modelo de linguagem (pode ser LLM via API ou local), um modelo de embeddings (para converter documentos em vetores), e um banco de dados vetorial (Weaviate, Qdrant, Milvus ou pgvector no PostgreSQL). Para PMEs, RAG sobre documentos internos pode rodar em um único servidor com 1× RTX 4090 + 32–64 GB RAM. O custo é significativamente menor que fine-tuning, e o modelo base pode ser atualizado sem perder o conhecimento customizado.
