O que são tokens, e por que eles aparecem na sua conta
Dentro da IA só existem números, e token é a ponte entre a sua frase e essa matemática. O que é um token, por que o português gasta mais que o inglês, e por que a IA erra contagem de letra.
Revisado em 24 de agosto de 2026, mesma data da publicação. Guia de ferramenta envelhece: se a tela da ferramenta mudou desde então, o caminho aqui pode ter mudado também.
Guia completo
Deixa seu nome e e-mail pra continuar lendo
Você destrava este guia, os outros guias e todos os materiais.
Você preenche uma vez só. Depois disso tudo o que é fechado abre direto neste navegador, e o mesmo e-mail te coloca na newsletter.
O que você vai aprender
Você vai entender o que são tokens, por que eles existem, como funcionam por dentro e por que isso importa na prática quando você usa ou contrata uma IA.
Não é necessário nenhum conhecimento técnico prévio. A idéia é ser o mais didático possível para que pessoas non-tech possam entender.
1. Por que tokens existem
Para entender tokens, você precisa entender uma limitação fundamental das IAs: dentro delas, só existem números.
As redes neurais que processam sua mensagem são, na essência, máquinas de fazer contas. Dezenas de camadas onde bilhões de multiplicações matemáticas acontecem. Não existe espaço para letras, palavras ou frases dentro desse processo.
Isso cria um problema óbvio: você escreve em português. A IA processa números. Alguém precisa fazer a tradução.
Esse tradutor é o tokenizador, e o token é a unidade mínima dessa tradução.
2. O que é um token
Um token é um pedaço de texto com um número identificador.
Não necessariamente uma palavra inteira. Pode ser uma sílaba, um prefixo, um sufixo, uma palavra curta completa, ou até um caractere isolado. O critério é eficiência, quais pedaços cobrem o maior número de combinações possíveis da língua.
Veja como a frase “qual é a distância até a lua?” é quebrada em tokens:
"qual" → token "é" → token "a" → token "dis" → token "tân" → token "cia" → token "até" → token "a" → token "lua" → token "?" → token
Repare que distância virou três tokens: dis, tân, cia. Não é um erro. O tokenizador aprendeu que esses são os pedaços mais eficientes para cobrir o português.
3. O dicionário
Cada provedor de IA constrói seu próprio dicionário, uma tabela gigante com centenas de milhares de entradas, onde cada pedaço de texto tem um número único.
"qual" → 432 "é" → 78 "a" → 15 "dis" → 847 "tân" → 391 "cia" → 205 "até" → 291 "lua" → 3421 "?" → 8
Quando você envia uma mensagem, o tokenizador quebra o texto nos pedaços que existem nesse dicionário e substitui cada um pelo seu número. A frase inteira vira uma sequência de IDs:
"qual é a distância até a lua?" → [432, 78, 15, 847, 391, 205, 291, 15, 3421, 8]
Agora sim, é possível entrar na caixa.
4. Dentro da caixa, o que acontece com os números
Os IDs entram no modelo e passam por um processo em três grandes etapas.
Etapa 1. Cada número vira um vetor
Um ID como 432 não carrega significado, é só um índice. Para o modelo conseguir trabalhar com ele, ele é convertido em uma lista de milhares de números chamada vetor. Esse vetor representa o significado do token.
Tokens com significados parecidos têm vetores parecidos. Lua e sol ficam próximos nesse espaço. Lua e contrato ficam distantes.
Etapa 2. Os vetores passam por dezenas de blocos
O modelo é composto por blocos empilhados, podem ser 32, 80, ou mais, dependendo do modelo. Dentro de cada bloco, dois processos acontecem:
Attention, cada token olha para todos os outros da frase e decide o quanto cada um importa para entender seu próprio significado. É aqui que o modelo entende que banco em banco de dados é diferente de banco em *banco central, *porque os vizinhos são diferentes.
Feed-Forward, depois de olhar para os vizinhos, cada token processa individualmente o que aprendeu.
Esse par se repete bloco a bloco, cada vez refinando mais o entendimento. Os primeiros blocos capturam sintaxe simples. Os últimos capturam raciocínio e abstração.
Para cada token gerado na resposta, esse processo envolve aproximadamente 35 bilhões de operações matemáticas. E esse número cresce conforme o seu input cresce, porque cada token precisa se comparar com todos os outros.
Etapa 3. O modelo decide o próximo token
No final de todo esse processamento, o modelo calcula a probabilidade de cada token do vocabulário ser o próximo na resposta:
"A" → 38% "distância" → 22% "Fica" → 15% "São" → 8% ...
Não é sempre o mais provável que vence. Existe um fator de aleatoriedade controlada, chamado temperatura, que dá variedade às respostas. É por isso que o mesmo prompt pode gerar respostas diferentes em momentos distintos.
O token escolhido é consultado no dicionário. O número volta a ser texto.
291 → "A"
5. O processo se repete
O modelo não gera a resposta inteira de uma vez. Ele gera um token por vez, e a cada token gerado, relê tudo e decide o próximo.
`Pergunta: “qual é a distância até a lua?”
Token 1 → “A” Token 2 → “distância” Token 3 → “da” Token 4 → “Terra” Token 5 → “até” Token 6 → “a” Token 7 → “Lua” Token 8 → “é” Token 9 → “de” Token 10 → “384.000” Token 11 → “km”`
Cada linha é uma rodada completa. Bilhões de operações. Um token. Repete.
6. Por que isso importa na prática
Entender tokens não é só curiosidade técnica. Tem impacto direto em como você usa e contrata IA.
Você paga por tokens, não por palavras
A maioria das APIs de IA cobra por token, tanto os que você envia quanto os que o modelo gera na resposta. Uma palavra pode ser um token ou três, dependendo do tokenizador e do idioma.
O português em geral usa mais tokens que o inglês para transmitir a mesma informação, porque muitas palavras são quebradas em mais pedaços. Isso afeta diretamente o custo de aplicações que processam grandes volumes de texto.
Contexto longo custa mais
Quanto maior o texto que você envia (um contrato, um relatório, um PDF) mais tokens entram no modelo. E como cada token precisa se comparar com todos os outros no Attention, o custo cresce de forma acelerada, não linear.
Isso explica por que modelos têm limites de contexto e por que processar documentos longos é genuinamente mais caro.
Tokens explicam comportamentos estranhos da IA
Por que a IA às vezes erra contagem de letras? Porque ela não vê letras, vê tokens. Contar letras dentro de tokens é um processo indireto e sujeito a erros.
Por que ela às vezes corta palavras de forma estranha? Porque o corte acontece no nível do token, não da palavra.
Entender isso ajuda a interpretar limitações sem atribuí-las a “burrice” do modelo, são consequências da arquitetura.
7. Resumo
Texto ↓ tokenizador quebra em pedaços Tokens ↓ dicionário converte em IDs Números ↓ modelo converte em vetores ↓ dezenas de blocos processam ↓ 35 bilhões de operações por token Probabilidades sobre o vocabulário ↓ temperatura + escolha Próximo token ↓ dicionário converte de volta Texto
Token é a ponte entre a linguagem humana e a matemática da IA. Sem ele, os dois mundos não conseguem se comunicar.
Glossário
Token: pedaço de texto com um número identificador no dicionário do modelo
Tokenizador: sistema que quebra o texto em tokens e converte de e para IDs
Vocabulário: o dicionário completo de tokens de um modelo; tipicamente entre 50.000 e 150.000 entradas
Context window: limite máximo de tokens que um modelo consegue processar de uma vez, somando input e output
Temperatura: parâmetro que controla a aleatoriedade na escolha do próximo token; valores baixos tornam a resposta mais previsível, valores altos tornam mais criativa
Embedding: vetor numérico que representa o significado de um token; tokens similares têm embeddings próximos
Attention: mecanismo dentro do modelo que permite cada token considerar o contexto dos outros tokens da frase
Logits: scores brutos gerados pelo modelo antes de serem convertidos em probabilidades pelo Softmax
Softmax: função matemática que converte scores brutos em probabilidades que somam 100%