Bonsai 2 promete 27 bilhões de parâmetros em 7 GB

Se você usa um modelo em produção, a promessa do Bonsai 2 chama atenção pelo tamanho no arquivo, não pela conta da API: 27 bilhões de parâmetros rodando em 7 GB. A proposta abre uma alternativa à inferência em nuvem, mas a parte mais importante para decidir uma migração — os 98% de desempenho retido — ainda não está acompanhada, nos dados disponíveis, de um benchmark conferível.

O que o Bonsai 2 promete

A apresentação atribuída ao modelo descreve uma versão capaz de executar localmente um modelo de 27B com uma exigência de memória indicada em 7 GB. Em termos práticos, isso aponta para uma estratégia de compressão ou quantização suficientemente agressiva para reduzir o tamanho necessário à execução.

A pauta foi originada pelo vídeo “Bonsai 2 Delivers 27 Billion Parameters Running on 7GB”, do canal ViktorKav. O número de 98% aparece como retenção de desempenho associada à proposta, mas não há, no material catalogado, a definição da métrica, do conjunto de testes ou da versão usada como referência.

Isso muda a leitura do anúncio. “27B em 7 GB” descreve uma possibilidade de implantação. Não significa, por si só, que o modelo terá a mesma velocidade, latência ou qualidade de um modelo de 27B executado com mais memória. Também não permite concluir que ele terá desempenho equivalente em tarefas de código, agentes ou raciocínio.

O que não foi confirmado

O catálogo disponível para 25 de setembro de 2026 não traz uma ficha do Bonsai 2 com nome, preço, janela de contexto, parâmetros ou notas de inteligência, código e uso agêntico. Por isso, os números de 27 bilhões, 7 GB e 98% devem ser tratados como alegações da apresentação, e não como métricas independentes conferidas.

Essa ausência é especialmente relevante para quem opera um serviço. O tamanho do modelo é apenas uma parte do custo técnico. Você ainda precisa saber a velocidade de geração, o consumo de memória durante o contexto, a compatibilidade com o hardware usado e o comportamento sob várias requisições simultâneas. Nenhum desses números está disponível aqui.

A retenção de 98% também exige cuidado. Sem saber se ela se refere a uma média geral, a uma tarefa específica ou a um benchmark próprio, não dá para convertê-la em uma previsão de qualidade para o seu produto. Um modelo pode preservar boa parte da nota média e perder justamente nos casos raros que mais afetam um agente ou uma ferramenta de programação.

A conta local contra a nuvem

Executar o Bonsai 2 localmente pode remover a cobrança por token da nuvem. Isso é relevante quando o volume de chamadas é alto, quando os dados não podem sair da infraestrutura ou quando a conectividade é um gargalo. Também pode facilitar o uso offline e dar mais previsibilidade operacional.

Mas “sem custo de API” não significa “sem custo”. A decisão passa pelo hardware, pela energia, pela manutenção e pela capacidade ociosa. Como não há dados de preço, velocidade ou consumo do Bonsai 2, não é possível afirmar uma economia específica em relação a um provedor remoto.

O OpenRouter mostra como a comparação de preços na nuvem pode mudar rapidamente. O Google Gemma 4 26B A4B aparece em uma alteração de preço de US$ 0,30 para US$ 0,225 por milhão de tokens. É uma referência próxima em escala de parâmetros, mas não uma comparação direta com o Bonsai 2: os dados disponíveis não informam que o Gemma tenha o mesmo formato de execução, a mesma qualidade ou o mesmo perfil de hardware.

Para quem a proposta faz sentido

O Bonsai 2 interessa mais a equipes que já têm máquinas compatíveis, precisam manter dados localmente ou querem reduzir dependência de chamadas externas. Também pode ser útil para protótipos offline e aplicações em que a latência de rede pesa mais do que a qualidade máxima.

Para quem escolhe modelo apenas pela nota de benchmark, a notícia ainda não resolve a decisão. Faltam métricas reproduzíveis, velocidade, custo total de operação e detalhes sobre a disponibilidade do modelo. Se o seu produto depende de agentes complexos, código crítico ou alta concorrência, os 98% anunciados não substituem testes com suas próprias solicitações.

A implicação prática é direta: trate o Bonsai 2 como candidato a um teste local de custo e privacidade, não como substituto comprovado de uma API até que o benchmark e o custo total apareçam.