A IA foi treinada pra chutar, e a culpa é da prova

A explicação padrão pra IA inventar informação é a arquitetura: o modelo prevê a próxima palavra mais provável, nunca consulta banco de dados nenhum, e não tem como travar e dizer “não sei”. Tudo isso é verdade e eu já escrevi sobre.

Mas tem uma segunda camada que eu acho mais interessante, e ela não é técnica. É de incentivo.

Em 2025, Kalai, Nachum, Vempala e Zhang publicaram um paper chamado “Why Language Models Hallucinate”, com uma tese direta: os modelos inventam em boa parte porque os procedimentos de treino e de avaliação premiam o chute em vez de premiar o reconhecimento da incerteza.

Ou seja: não é só que a máquina não consegue dizer “não sei”. É que a gente ensinou ela a não dizer.

A analogia é vestibular, e ela é perfeita

Os próprios autores usam essa comparação, e ela funciona porque todo mundo já foi aluno.

Imagina uma prova de múltipla escolha, cinco alternativas, sem desconto por erro. Você não faz a menor ideia da questão 12. O que você faz?

Chuta. Óbvio que chuta. Deixar em branco garante zero; chutar dá 20% de chance.

Agora repara na consequência estranha disso: um aluno que deixa em branco tudo o que não sabe tira nota menor do que um aluno igualmente ignorante que chuta em tudo. A prova não está medindo conhecimento. Está medindo conhecimento mais disposição a arriscar. E premia a segunda parte.

É exatamente isso que acontece com os modelos de IA.

As avaliações usadas pra medir e comparar modelos são majoritariamente baseadas em acurácia, ou seja, percentual de resposta certa. Um modelo que responde “não tenho essa informação” recebe zero naquele item. Exatamente o mesmo zero que receberia se tivesse chutado errado.

Não existe nenhum benefício em admitir ignorância. E existe um benefício estatístico claro em arriscar.

Multiplica isso por anos de desenvolvimento, com cada versão sendo otimizada pra pontuar melhor nos testes de comparação, e o resultado é previsível: os modelos ficaram muito bons em chutar com segurança. Não por maldade, não por defeito de engenharia. Por incentivo.

Por que isso muda o enquadramento

Eu acho essa tese importante por um motivo específico: ela move parte do problema da coluna “limitação da tecnologia” pra coluna “escolha da indústria”.

Os autores argumentam que mudar as avaliações atacaria a raiz da coisa: penalizar o erro confiante mais do que penalizar a abstenção, exatamente como faz uma prova com desconto por erro.

Isso é uma decisão que alguém toma. Não é uma barreira física.

E aqui entra a parte que eu acho que quase ninguém está falando: enquanto o mercado inteiro comparar modelo por ranking de acurácia, ninguém tem incentivo pra lançar um modelo mais honesto. Um modelo que diz “não sei” com mais frequência vai aparecer pior nas tabelas de comparação, mesmo sendo melhor pra usar no trabalho.

O ranking está premiando a característica errada. E o ranking é o que vira manchete.

O que dá pra fazer sem esperar a indústria

A segunda consequência do trabalho é a que te serve hoje: se o comportamento padrão do modelo é chutar quando não sabe, você pode mudar o incentivo dele dentro do seu pedido.

Literalmente escreva isso:

“Se você não tiver essa informação com segurança, responda ‘não sei’. É uma resposta aceitável e preferível a um palpite.”

Parece bobo. Parece bobo demais pra funcionar. Mas funciona, e é a aplicação prática direta da tese: você está dizendo, naquele pedido específico, que abster-se não é punido.

Junto com isso, o hábito que vale mais que todos os outros: em vez de perguntar de memória, dê o documento. Compare as duas formas:

• “Qual o prazo de rescisão previsto na CLT para contrato de experiência?”
• “Segue o texto do artigo. Com base apenas neste texto, qual o prazo de rescisão?”

A palavra “apenas” faz um trabalho pesado ali. Você transformou um problema de memória num problema de leitura. E leitura é justamente o que essa ferramenta faz de melhor.

Um alerta que vale ouro: peça citação do documento que você forneceu, nunca “cite suas fontes” no vazio. Pedir fonte sem material dado é uma das formas mais clássicas de provocar invenção. O modelo produz referência com autor, ano, título e link perfeitamente formatados, e completamente inexistentes.

O que eu tiro disso

Que a conversa sobre confiabilidade de IA está sendo feita no lugar errado.

Todo mundo discute qual modelo alucina menos. Quase ninguém discute que a régua usada pra comparar os modelos é a mesma régua que os ensinou a chutar.

Enquanto isso, no seu trabalho, a solução continua sendo a chata de sempre: dar o material, autorizar o “não sei”, pedir a citação do trecho, e conferir todo número e todo nome próprio antes de mandar.

Um minuto de conferência. É a diferença entre usar IA por anos sem incidente e passar vergonha uma vez.