Você não dirige um caminhão para buscar pão na padaria, e não usa uma CPU para treinar modelos de linguagem. Hardware certo para a carga certa — entender essa diferença poupa dinheiro, tempo e frustrações com projetos de IA que simplesmente “não andam”.
A arquitetura por trás da diferença
CPU e GPU fazem a mesma coisa em nível fundamental — executam instruções matemáticas. A diferença está em como são projetadas para fazer isso.
CPU (Central Processing Unit): projetada para performance em tarefas sequenciais e complexas. Tem entre 4 e 128 cores de alto desempenho, cada um capaz de executar operações complexas com baixa latência. Executa uma instrução por vez com muita eficiência — ideal para código com muitas condições, chamadas de sistema, lógica de negócio.
GPU (Graphics Processing Unit): projetada para paralelismo massivo. Tem de centenas a dezenas de milhares de cores menores e mais simples, otimizados para executar a mesma operação sobre muitos dados simultaneamente. Originalmente feita para renderizar pixels (que envolve muitas operações matemáticas idênticas em paralelo) — e essa mesma característica a torna perfeita para IA.
O que o treinamento de redes neurais faz, no fundo, é multiplicação de matrizes em grande escala. Uma matriz com milhões de elementos multiplicada por outra — milhões de vezes por segundo. Isso é exatamente o que GPU faz melhor.
Comparação concreta: treinar um modelo de visão computacional comum pode levar 40 horas numa CPU de 32 cores e 2 horas numa GPU A100. O modelo é idêntico — o hardware muda tudo.
O que é CUDA e por que a NVIDIA domina
CUDA (Compute Unified Device Architecture) é a plataforma de computação paralela da NVIDIA, lançada em 2007. É uma combinação de hardware e software que permite programar GPUs NVIDIA para computação de propósito geral — não apenas para gráficos.
A razão pela qual NVIDIA domina o mercado de AI compute é simples: mais de 15 anos de vantagem no ecossistema CUDA. Todos os frameworks de IA (PyTorch, TensorFlow, JAX) são profundamente otimizados para CUDA. Bibliotecas como cuBLAS (álgebra linear), cuDNN (redes neurais) e NCCL (comunicação entre GPUs) são parte do ecossistema e têm desempenho que levaria anos para AMD ou Intel replicar em termos de maturidade de software.
AMD tem ROCm como alternativa ao CUDA, e Intel tem OneAPI. Mas o suporte da comunidade e dos frameworks ainda é significativamente menor. Para uso corporativo em produção, NVIDIA é a escolha com menos risco.
Quando CPU é suficiente para IA
CPU não é descartável para IA — há casos de uso onde ela é a escolha correta:
Inferência de modelos pequenos: modelos leves como Phi-3 Mini (3.8B parâmetros quantizado) ou modelos de classificação de texto treinados internamente conseguem rodar com latência aceitável em CPUs modernas de muitos cores. Se você tem 10–20 requisições por minuto, pode não precisar de GPU.
Processamento de dados e feature engineering: preparação de datasets, transformações, validação — tudo isso é CPU. A GPU entra quando o dado já está pronto para treinamento.
AutoML e busca de hiperparâmetros com modelos simples: XGBoost, LightGBM, regressão logística e outros algoritmos clássicos de machine learning rodam bem em CPU e não exigem GPU.
Embedding batch de documentos off-line: se você precisa indexar documentos para RAG e não tem urgência de tempo, pode rodar o modelo de embedding em CPU durante a madrugada. É lento, mas funciona e não exige GPU dedicada.
Quando GPU é necessária
| Carga de trabalho | Precisa de GPU? |
|---|---|
| Treinamento de LLMs (7B+) | Sim — obrigatório |
| Fine-tuning de LLMs | Sim — obrigatório |
| Inferência de LLMs 7B+ em produção | Sim — para latência aceitável |
| Visão computacional (treino) | Sim |
| Inferência de modelos pequenos (<1B) | Opcional |
| Processamento de dados / ETL | Não |
| ML clássico (XGBoost, regressão) | Não |
| AutoML com modelos simples | Não |
A linha geral: se o modelo tem mais de 1–2 bilhões de parâmetros e você precisa de resposta em tempo real, GPU é necessária. Se é batch, off-line ou modelo compacto, CPU pode ser suficiente.
O papel das TPUs e NPUs
TPU (Tensor Processing Unit) — hardware especializado desenvolvido pelo Google especificamente para cargas de IA. É ainda mais eficiente que GPU para certos tipos de treinamento (especialmente com frameworks do Google, como JAX). Disponível no Google Cloud, mas com ecossistema mais restrito e curva de aprendizado maior.
NPU (Neural Processing Unit) — chips de inferência embarcados, presentes em smartphones (Apple Neural Engine, Qualcomm AI Engine) e em laptops modernos (Apple M-series, Intel AI Boost). São eficientes para inferência de modelos compactos no dispositivo — não são relevantes para cargas de servidor, mas têm importância crescente para IA no edge.
Para a maioria das empresas avaliando infraestrutura de IA hoje, a decisão prática é: NVIDIA GPU ou não. TPU é nicho de cloud GCP com workloads específicas. NPU é relevante para aplicações de edge computing.
Como dimensionar sem errar
O erro mais comum: superdimensionar por precaução e pagar por capacidade ociosa. O segundo erro mais comum: subdimensionar e descobrir que o modelo não cabe na VRAM.
Uma abordagem segura:
- Escolha o modelo que vai rodar (tamanho em parâmetros)
- Calcule a VRAM necessária: parâmetros × 2 bytes (float16) ou × 0.5 bytes (int4)
- Adicione 20–30% de folga para KV cache durante inferência
- Escolha a GPU com VRAM suficiente, não a maior disponível
Lembre-se: GPU ociosa custa o mesmo que GPU ocupada. Dimensionar pelo uso real é parte de qualquer prática de FinOps para IA.
Se você está avaliando infraestrutura de GPU para projetos de IA — seja para treinamento pontual ou inferência contínua — a Adentro pode dimensionar uma solução dedicada com o hardware certo para seu caso de uso.