Llama 3.3 70B vs modelos pagos: vale rodar open-source local em 2026?

A pergunta inevitável quando seu SaaS começa a escalar: "vale a pena parar de pagar OpenRouter/OpenAI e rodar Llama 70B em GPU própria?". Resposta sem hype: depende de volume. Vou mostrar o cross-over exato.

Os 3 caminhos

| Caminho | Custo fixo | Custo variável | Complexidade | |---|---|---|---| | A. Modelo pago via Tokia | R$ 0 | ~R$ 3/1M tokens (Llama 70B) | Baixíssima | | B. Self-host vLLM GPU própria | R$ 800-2500/mês | R$ 0 (electricidade + bandwidth incluído) | Alta | | C. GPU spot (RunPod / Vast.ai) | R$ 0 | ~R$ 1/1M tokens efetivo | Média |

Vamos esquecer C por simplicidade (modelo viável mas SLA volátil). Foco A vs B.

Cross-over exato

Custo variável (caminho A — Tokia Llama 3.3 70B):

• Upstream OpenRouter: $0.40/1M input, $0.40/1M output (preço aproximado)
• Tokia markup 3x: ~R$ 6/1M efetivo

Custo fixo (caminho B — self-host):

• GPU Hetzner GPU Server (A100 40GB) ou similar: ~R$ 2.500/mês
• Capacidade: ~50M-100M tokens/mês comfortavel com vLLM

Cross-over: ~400M tokens/mês

Pra ter referência:

• Chatbot pequeno (5000 conversas × 2000 tokens) = 10M tokens/mês → fica em A (R$ 60/mês vs R$ 2500)
• SaaS médio (50000 chamadas × 5000 tokens) = 250M tokens/mês → fica em A (R$ 1500 vs R$ 2500)
• SaaS escalando (~500M tokens/mês) → B passa a fazer sentido (R$ 3000 → R$ 2500)
• Volume enterprise (acima de 1B tokens/mês) → B é óbvio (R$ 6000+ → R$ 2500)

Quando self-host (caminho B) faz sentido AINDA com volume baixo

Mesmo abaixo do cross-over, B pode ser justificado se:

1. Compliance: dados não podem sair do Brasil

Hetzner tem datacenter em Frankfurt (UE — adequado LGPD), e tem servers em Helsinki/Falkenstein. Sem datacenter BR mas EU é "nível adequado" LGPD post-resolução ANPD 19/2024.

Pra cliente que proíbe contratualmente US/Singapore/etc → você precisa B mesmo perdendo dinheiro.

2. Latência ultra-baixa (P95 abaixo de 300ms)

Chamada Tokia → OpenRouter → upstream tem ~600-1500ms TTFT. Self-host em GPU próxima do BR (Hetzner FRA ~150ms ping) → TTFT 200-400ms.

Pra interfaces real-time (voice chat IA, autocomplete IDE), 300ms importa.

3. Customização do modelo

Self-host = você pode:

• Fine-tunar em dados próprios (LoRA, full fine-tune)
• Mudar system prompt no servidor (em vez de cada call)
• Aplicar quantização (Q4, Q8) pra GPU menor
• Guardar logs detalhados pra debug

Modelo pago = você é cliente, não dono. Sem fine-tune.

4. Independência de provider

Política de provider muda (preços sobem, modelo deprecated). Self-host imuniza você desse risco.

Setup self-host vLLM (Llama 3.3 70B quantizado 4-bit em A100)

# Hetzner GPU Server (A100 40GB ou L40S)
# OS: Ubuntu 22.04 + CUDA 12.4

# 1. Instala dependências
pip install vllm==0.6.5

# 2. Download model weights (~40GB GGUF 4-bit ou ~140GB FP16)
huggingface-cli download meta-llama/Llama-3.3-70B-Instruct \
  --local-dir /opt/models/llama-3.3-70b

# 3. Roda servidor OpenAI-compatible
vllm serve /opt/models/llama-3.3-70b \
  --port 8000 \
  --tensor-parallel-size 1 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.95 \
  --api-key seu-token-secreto-aqui

Pronto. Você tem endpoint http://seu-server:8000/v1/chat/completions OpenAI-compatible.

Cliente: mesmo SDK OpenAI

import OpenAI from "openai";

const llamaLocal = new OpenAI({
  baseURL: "http://seu-server.hetzner.com:8000/v1",
  apiKey: "seu-token-secreto-aqui",
});

const response = await llamaLocal.chat.completions.create({
  model: "/opt/models/llama-3.3-70b",  // path passado no vllm serve
  messages: [{ role: "user", content: "oi" }],
});

Trocando baseURL você alterna entre Tokia e self-host sem refactor.

Os 5 gotchas que SEMPRE atrapalham em self-host

1. Boot time da GPU é 60-120s

Cold start vLLM + carregar 70B na VRAM = 1-2 min. Se servidor reinicia, seus users veem timeout.

Fix: warm pool ou auto-restart agressivo (systemd com Restart=always

• healthcheck).

2. Concurrency limit é REAL

A100 40GB roda Llama 70B 4-bit em ~30 tokens/s output. Pra 10 chamadas concorrentes streaming, vai cair pra 3 tokens/s cada (degradação linear).

Fix: queue system com BullMQ + max concurrent requests 5-8 por GPU. Acima disso, escala horizontal (segunda GPU).

3. Drivers NVIDIA são frágeis

nvidia-smi retornar "ERR" após reboot é coisa comum. Cada update CUDA/ driver/vLLM pode quebrar.

Fix: travar versões exatas. Docker container com tudo congelado em imagem (nvidia/cuda:12.4.1-cudnn-runtime-ubuntu22.04 + vllm pip pinned).

4. Hetzner GPU billing é cobrança contínua

A100 ~R$ 2.500/mês mesmo se você usar 0%. Não tem auto-pause. Se SaaS ficou idle 1 mês inteiro (férias dezembro), você paga full.

Fix: pra workload com sazonalidade, considere RunPod spot ou hybrid (Tokia em baixo volume, scale-up self-host só em pico).

5. Modelo pode ficar atrás dos pagos

Llama 3.3 70B é bom (Q3 2024). Mas Claude Sonnet 4.6 + GPT-4o lançam versões novas a cada 3-6 meses. Em 2026 Llama 4 deve sair, mas você precisa redeploy + retest cada upgrade.

Modelo pago = sempre top-of-line sem você se preocupar.

Híbrido: Tokia + self-host na MESMA app

Pattern usado em SaaS reais:

// lib/ai-hybrid.ts
const tokia = new OpenAI({ baseURL: "https://api.usetokia.com/v1", ... });
const llamaLocal = new OpenAI({ baseURL: "http://gpu.local:8000/v1", ... });

async function chat(messages, options = {}) {
  // 80% do tráfego (queries simples) → self-host Llama (custo zero variável)
  // 20% (queries complexas, raciocínio) → Tokia Claude (qualidade)

  const complexity = avaliarComplexidade(messages);

  if (complexity < 0.3 && llamaHealthCheck()) {
    return llamaLocal.chat.completions.create({ model: "...", messages, ...options });
  } else {
    return tokia.chat.completions.create({ model: "claude-sonnet-46", messages, ...options });
  }
}

Isso captura melhor dos 2 mundos:

• Custo: 80% do volume vai pro fixo R$ 2500 (que paga 1B+ tokens)
• Qualidade: 20% que precisa, vai pro premium

ROI realista — 12 meses

Cenário: SaaS BR com crescimento típico

| Mês | Tokens/mês | Caminho A (Tokia) | Caminho B (self-host) | Híbrido | |---|---|---|---|---| | 1 | 5M | R$ 30 | R$ 2.500 | R$ 30 | | 3 | 50M | R$ 300 | R$ 2.500 | R$ 300 | | 6 | 200M | R$ 1.200 | R$ 2.500 | R$ 1.200 | | 9 | 500M | R$ 3.000 | R$ 2.500 | R$ 2.000 | | 12 | 1B | R$ 6.000 | R$ 2.500 | R$ 3.500 |

Cross-over realista pra híbrido: mês 8-9 quando volume atinge ~400M tokens/mês.

Recomendação: começa Tokia 100%. Quando volume passar de 300M tokens/ mês, planeja migrar 70% pro self-host. Mantém 30% Tokia pra queries premium.

Conclusão

• Volume abaixo de 300M tokens/mês: fique no Tokia. Self-host só atrapalha.
• 300M-1B tokens/mês: começa híbrido. ROI em 3-4 meses.
• Mais de 1B tokens/mês: self-host obrigatório. Tokia continua útil pra premium (Claude 4.6) ou backup.

Tokia tem Llama 3.3 70B no catálogo justamente pra você testar SEM investimento em GPU. Quando seu volume justificar, troca baseURL e mantém o mesmo código.

Testa Llama 70B via Tokia com R$ 10 PIX →

---

Posts relacionados:

• Claude Sonnet 4.6 vs GPT-4o-mini
• Gemini Flash vs DeepSeek V3