Cache de prompt: 113 modelos vendem o mesmo atalho por preços 25 vezes diferentes

Você já deve ter visto o termo "cache de prompt" na fatura da API sem entender direito o que está pagando a mais. A ideia é simples: quando você repete o mesmo bloco enorme de texto em toda requisição — um system prompt de 50 páginas, uma base de conhecimento, um contrato — o provedor consegue reaproveitar o trabalho pesado da primeira leitura e cobrar menos pelos tokens que ele já processou. É como pedir para um garçom anotar seu pedido habitual em vez de ditar tudo de novo a cada visita.

O detalhe sujo é que essa economia não é padronizada. Dos 270 modelos listados no catálogo, 113 oferecem algum preço de cache explícito — ou seja, 4 em cada 10. E dentro desse recorte a diferença entre quem cobra mais barato e quem cobra mais caro não segue a lógica do preço de saída.

O caso Llama 3.3: cache que não economiza nada

O Llama 3.3 70B Instruct, da Meta, é o exemplo mais didático de cache inútil. Ele cobra US$ 0,71 por milhão de tokens de entrada, US$ 0,71 por milhão de tokens de saída e, pasme, US$ 0,71 por milhão de tokens em cache. É o mesmo valor nos três campos. A leitura de cache existe no catálogo, mas não traz desconto. Para quem repete prompts grandes, não há incentivo nenhum em relação a simplesmente enviar o texto de novo.

Onde o cache de fato vale a pena

No outro extremo, dois modelos empatam no piso do recorte: o GPT-OSS 20B, da OpenAI, e o Claude 3 Haiku, da Anthropic, ambos com cache a US$ 0,03 por milhão de tokens. Mas eles chegam lá por motivos opostos.

O GPT-OSS 20B é um modelo aberto de 21 bilhões de parâmetros (3,6 bilhões ativos por passada) que custa US$ 0,03 de entrada, US$ 0,13 de saída e US$ 0,03 de cache. O cache aqui repete o preço da entrada — não há economia adicional, mas o ponto de partida já é tão baixo que o efeito é marginal. Faz sentido para quem roda volume absurdo em infraestrutura própria ou via provedores compatíveis.

O Claude 3 Haiku é outra história. Lançado em março de 2024, cobra US$ 0,25 de entrada, US$ 1,25 de saída e US$ 0,03 de cache. Aqui o desconto é brutal: o cache custa 12% do preço da entrada e 2,4% do preço de saída. Para um chatbot que repete o mesmo system prompt em milhares de conversas, isso muda a conta no fim do mês.

A fronteira inteligente: Haiku 4.5 e o3

A pergunta que importa para quem paga a conta é: e nos modelos que realmente entregam raciocínio de ponta? O Claude Haiku 4.5, lançado em 15 de outubro de 2025, cobra US$ 1,00 de entrada, US$ 5,00 de saída e US$ 0,10 de cache. O cache representa 10% do preço de entrada — um desconto agressivo para um modelo com índice de inteligência de 29,892, o segundo do recorte. Já o OpenAI o3, topo do catálogo com 31,096, cobra US$ 2,00 de entrada, US$ 8,00 de saída e US$ 0,50 de cache. O desconto existe, mas é proporcionalmente menor: 25% do preço de entrada.

Para quem cada caso faz sentido

Se você roda um agente que repete 100 mil tokens de contexto a cada chamada, a conta muda de signo dependendo do modelo. No o3, o cache a US$ 0,50 por milhão ainda é mais barato que os US$ 2,00 da entrada — e a diferença se acumula rápido em produção. No Haiku 4.5, a economia é ainda mais generosa em termos percentuais. Já no Llama 3.3, não há motivo para se preocupar com cache: o desconto é zero, e o modelo só vale pelo ecossistema aberto.

O recorte mostra um padrão claro: cache não é um benefício universal, é uma escolha comercial de cada provedor. Antes de montar a arquitetura em cima de um modelo, vale cruzar o preço de cache com o seu padrão real de requisições — porque a diferença entre o mais barato e o mais caro do recorte é de quase 25 vezes, e essa é a variável que ninguém te conta no release.