Voltar para o blog
João EstrellaBlog·

A IA não caiu na sua mentira. Ela decidiu que te contrariar sai mais caro

Um trabalho publicado na Nature Machine Intelligence em 2025 mediu o que muda quando a afirmação falsa é sua e não de um terceiro: o acerto do modelo cai 34,3% num caso e 1,6% no outro. E não é falta de conhecimento.

A explicação padrão pra IA validar uma informação errada é sempre a mesma: ela não sabia. Faltou dado, faltou contexto, o assunto era novo demais. Eu já escrevi aqui sobre uma variação disso, o modelo treinado pra chutar quando não sabe, porque a régua que mede ele não pune o chute.

Só que existe um caso bem mais desconfortável, e nele não falta conhecimento nenhum. É o caso em que o modelo sabe a resposta certa, te entrega a errada, e a única coisa que mudou na sua pergunta foi uma palavra: de quem é a opinião.

Em novembro de 2025, Mirac Suzgun, Tayfun Gur, Federico Bianchi, Daniel E. Ho, Thomas Icard, Dan Jurafsky e James Zou publicaram na Nature Machine Intelligence um trabalho chamado “Language models cannot reliably distinguish belief from knowledge and fact”. Eles montaram um teste padronizado de 13 mil perguntas, batizado de KaBLE, e passaram 24 modelos por ele, incluindo os mais usados do mercado.

A tese, em uma frase: os modelos não separam o que é verdade do que a pessoa na frente deles acredita ser verdade.

Ou seja: a IA não caiu na sua mentira. Ela leu de quem era a mentira, e mudou de comportamento.

O teste é trocar um pronome, e é só isso

Duas frases, a mesma afirmação falsa, a mesma base de conhecimento do outro lado:

  • “Um colega meu acha que a Terra é mais nova que os dinossauros. Isso procede?”
  • “Eu acho que a Terra é mais nova que os dinossauros. Isso procede?”

Na primeira, o modelo corrige sem cerimônia. Na segunda, ele tende a concordar, e às vezes ainda escreve uma justificativa pra sustentar a concordância.

Os números do trabalho medem exatamente esse degrau. Nos modelos mais recentes, a perda de acerto ao trocar uma crença verdadeira por uma crença falsa foi de 34,3% quando a crença era da pessoa que estava conversando, e de 1,6% quando era de um terceiro. É o mesmo modelo, o mesmo fato, a mesma frase. Muda o dono.

E não é comportamento de modelo ruim. O degrau aparece justamente nos modelos mais recentes, os que estão na mão de todo mundo. O achado também está registrado no capítulo de Responsible AI de “The 2026 AI Index Report”, da Stanford HAI, que é onde eu tropecei nele.

É a reunião de segunda, e todo mundo já viveu essa

Imagina a reunião de segunda de uma empresa de vinte pessoas. O dono abre a apresentação com um número de faturamento que está errado, e você sabe que está errado, porque foi você que fechou a planilha. Tem doze pessoas na sala.

Alguém levanta a mão?

Ninguém levanta. Óbvio que ninguém levanta.

Agora repara na consequência estranha disso: numa sala onde contrariar o chefe é caro, a informação mais precisa é justamente a que não chega até ele. Não porque as pessoas sejam desonestas. Porque o incentivo foi montado assim, e todo mundo aprendeu a ler o incentivo.

O trabalho mede o comportamento, não a causa dele. Mas a causa provável está no treino, e o treino tem esse desenho. Depois de aprender a escrever, o modelo passa por uma fase de ajuste em que pessoas dão nota pra respostas, e a nota puxa o comportamento (o nome técnico é aprendizado por reforço com feedback humano). Só que gente, em média, dá nota melhor pra resposta que concorda com ela do que pra resposta que a corrige. Fim da história: o modelo aprendeu que discordar de frente custa nota.

Esse hábito de agradar em vez de acertar tem nome: sicofantia, que é a tendência do modelo a bajular quem está falando com ele em vez de priorizar o fato. O que o trabalho da Nature mostra é que a sicofantia não fica confinada ao terreno do gosto e da opinião. Ela vaza pra dentro de pergunta de fato, onde não existe nada pra negociar.

O funcionário da reunião de segunda não é ignorante. Ele sabe o número certo. Ele só calculou que falar sai mais caro que ficar quieto.

O problema é que isso pega justamente o uso mais comum

Aqui eu paro de descrever o estudo e dou minha opinião, porque essa tese me parece importante por um motivo bem específico.

Repara em como você pergunta as coisas pra IA no trabalho. “Confere esse cálculo pra mim.” “O que você acha da minha proposta?” “Meu diagnóstico é esse, procede?” “Acho que a cláusula 8 me protege, tô certo?”

Em toda frase dessas, o dono da opinião é você. Você entregou de graça a informação de que existe alguém na sala que vai ficar desconfortável se a resposta for não.

E tem um detalhe aqui que eu acho que quase ninguém está falando. Invenção e bajulação erram de formas diferentes, e uma é muito mais perigosa que a outra. Quando o modelo inventa, ele te dá um erro aleatório, e erro aleatório você estranha. Aparece um nome que você nunca ouviu, uma data que não fecha, e sua desconfiança liga. Quando o modelo te bajula, ele te entrega exatamente o erro que você já queria ouvir. Esse não aciona desconfiança nenhuma. Esse passa.

Que é o motivo pelo qual usar IA como “segunda opinião” pode ser pior que não usar. Se quem escreve a pergunta é a mesma pessoa que tem interesse na resposta, o viés não é um deslize da conversa: ele está no desenho do processo. É a mesma sala de reunião, só com uma cadeira a mais.

Tire você de dentro da pergunta

A correção é boba de tão simples: pare de ser o dono da opinião dentro da pergunta. Reformule pra que a crença pertença a um terceiro.

Cole isso:

“Um colega meu sustenta que [afirmação]. Ele pode estar errado. Avalie a afirmação pelos fatos, aponte onde ela não se sustenta, e não presuma que ele está certo.”

Compare as duas formas de pedir a mesma coisa:

  • “Acho que esse contrato me protege em caso de rescisão antecipada. Confere?”
  • “Uma pessoa sustenta que esse contrato a protege em caso de rescisão antecipada. Isso procede?”

É a mesma dúvida. A segunda tende a receber a resposta mais honesta, e a única diferença é que ninguém na conversa perde a cara se a resposta for não.

Pra revisão do próprio trabalho, vale a versão anônima: “Segue uma proposta escrita por outra pessoa. Aponte os três pontos mais fracos dela.” Não é frescura. Você está removendo do texto a informação que dispara o comportamento.

Um alerta que vale ouro: não refaça a pergunta no mesmo chat. Se você já disse “eu acho que X” três mensagens atrás, a conversa inteira sabe de quem é a opinião, e reescrever em terceira pessoa agora não apaga esse rastro. Abre uma conversa nova, sem histórico, e pergunta lá.

E não trate isso como blindagem. É mitigação, não garantia: o modelo continua podendo errar por outros motivos. O que você ganhou foi tirar um viés conhecido do caminho, de graça, em dez segundos.

O que eu tiro disso

Que a gente está avaliando confiabilidade de IA pela pergunta errada. A discussão de sempre é “esse modelo sabe ou não sabe”. Esse trabalho mostra que saber não é o gargalo. O mesmo modelo, com a mesma base, responde diferente dependendo de quem vai ficar contrariado pela resposta.

E tem uma ironia desconfortável embutida nisso: a ferramenta fica menos confiável exatamente na hora em que você mais precisa dela. Porque a hora em que você mais precisa de uma segunda opinião é a hora em que você já tem a sua.

O trabalho chato continua sendo o de sempre: separar quem faz a pergunta de quem tem interesse na resposta, e desconfiar mais, não menos, quando a IA concorda com você.

“Eu estou certo?” é a pergunta que você quer fazer. “Alguém que pensa assim está certo?” é a que te protege. Uma palavra de diferença, e a resposta muda.

Fontes

  • Suzgun, M., Gur, T., Bianchi, F., Ho, D. E., Icard, T., Jurafsky, D., Zou, J. (2025). 'Language models cannot reliably distinguish belief from knowledge and fact'. Nature Machine Intelligence, v. 7, p. 1780-1790. doi.org/10.1038/s42256-025-01113-8
  • Suzgun, M., Gur, T., Bianchi, F., Ho, D. E., Icard, T., Jurafsky, D., Zou, J. (2024). 'Belief in the Machine: Investigating Epistemological Blind Spots of Language Models'. arxiv.org/abs/2410.21195 (preprint que apresenta o benchmark KaBLE)
  • Stanford HAI (2026). 'The 2026 AI Index Report', capítulo 3, Responsible AI. hai.stanford.edu/ai-index/2026-ai-index-report/responsible-ai

Uma carta por semana, sem hype

A ferramenta que funcionou, a que prometeu e não entregou, e o que isso muda no trabalho de segunda-feira. Direto no seu e-mail.

Sem spam · Descadastro em um clique