Por que o mesmo prompt custa tokens diferentes em cada IA

Envie “hello world” pro Claude e você recebe 11 tokens (só um exemplo, não é 11 na vida real). Envie o mesmo texto pro Gemini e são 4 (mesma coisa, fictício). Mesmo texto, mesmo idioma, e uma contagem quase três vezes maior num modelo do que no outro. Isso não significa que o Claude é mais lento, nem que o Gemini é mais eficiente. Significa que os dois nunca aprenderam a mesma língua.

Todo modelo de linguagem só processa números. Antes de qualquer palavra sua chegar ao modelo, um componente chamado tokenizador quebra o texto em pedaços e troca cada pedaço por um número; a resposta que você recebe é o caminho inverso, números virando texto de novo. Esse dicionário de pedaços de texto, o vocabulário de tokens, não vem pronto de fábrica: cada provedor treina o próprio, no próprio conjunto de dados, começando por letra, agrupando as combinações mais frequentes até formar pedaços maiores, até parar num tamanho alvo (o GPT-4, por exemplo, usa um vocabulário de cerca de 200 mil tokens, segundo o educador de programação Matt Pocock, no vídeo “Most devs don’t understand how LLM tokens work”, de 2025). Dois times treinando dois vocabulários em dois conjuntos de dados diferentes chegam a dois dicionários diferentes. É por isso que “hello world” vira 11 pedaços num e 4 no outro: um vocabulário decidiu que aquele texto merece mais cortes, o outro decidiu que menos.

E é por isso que comparar o preço por milhão de tokens de dois provedores, direto, sem pensar em mais nada, é comparar a coisa errada. Se um modelo corta seu texto em pedaços menores, ele processa mais pedaços pro mesmo conteúdo, então o preço por token dele tende a ser mais baixo pra compensar. Um modelo com vocabulário mais grosso faz o oposto. O número que decide se uma ferramenta é mais barata pra você não é o preço por token anunciado. É quantos tokens o seu tipo de texto de fato gera naquele modelo.

Isso importa mais ainda pra quem escreve em português. Um vocabulário treinado majoritariamente em inglês nunca viu “compra” ou “fornecedor” com a mesma frequência que viu “purchase” e “vendor”, então quebra essas palavras em pedaços menores, e cada pedaço é um token cobrado. O nome muito específico do seu produto ou da sua empresa sofre do mesmo jeito: se ele nunca apareceu nos dados de treino, o tokenizador não tem um atalho pronto pra ele e o escreve em fatias.

Na prática, antes de trocar de ferramenta de IA achando que economizou, teste o mesmo prompt nas duas e olhe quantos tokens cada uma reportou pra ele; a maioria das APIs devolve esse número em campos como usage.input_tokens. O preço por token anunciado é só metade da conta. A outra metade é quantos tokens o seu texto realmente vira ali dentro, e essa metade muda de modelo pra modelo.