Você sabe menos do que acha, e a IA não vai te avisar disso

Todo mundo já ouviu essa explicação, e ela está certa: pra usar IA direito, você tem que conferir o que ela diz, porque ela erra com a mesma cara de segura que acerta. É o conselho número um em qualquer curso sobre o assunto, e eu mesmo já dei ele várias vezes.

Mas tem uma pergunta que fica escondida atrás dessa recomendação, e quase ninguém faz: conferir com o quê? Você só percebe que uma resposta está errada se souber o suficiente do assunto pra notar a diferença entre o certo e o errado. E aí aparece o problema de verdade, que não é técnico. É que a maioria das pessoas sabe muito menos do que acha que sabe sobre praticamente qualquer coisa que envolva entender como algo funciona por dentro.

Isso não é opinião. Foi medido.

A nota despenca assim que você tenta explicar

Em 2002, os pesquisadores Leonid Rozenblit e Frank Keil, de Yale, publicaram um trabalho chamado “The Misunderstood Limits of Folk Science: An Illusion of Explanatory Depth”, na revista Cognitive Science. A tese, resumida: as pessoas acreditam entender como as coisas funcionam num nível de detalhe que elas simplesmente não têm, e só percebem isso quando são obrigadas a explicar o mecanismo passo a passo.

O procedimento de um dos experimentos, com 33 participantes, era simples. Peça pra alguém dar uma nota de 1 a 7 pra quanto ela entende como um zíper funciona, ou como uma privada dá descarga. A nota vem alta, em geral acima de 3,8. Depois peça pra ela escrever a explicação, passo a passo, do mecanismo interno. E peça a nota de novo. A média caiu de 3,89 para 3,10. Depois veio uma pergunta diagnóstica, do tipo que só quem entende o mecanismo de verdade consegue responder: explique, passo a passo, como se destrava uma fechadura de cilindro, ou como um helicóptero passa de pairado pra voo pra frente. Só de tentar responder aquilo, a nota caiu de novo, pra 2,49. Uma queda de 1,4 ponto numa escala de 7, entre achar que sabia e ser cobrado pra provar que sabia.

E não é modéstia forçada pelo experimento: num estudo seguinte, feito depois e com outras pessoas, doze avaliadores de Yale que não tinham participado de nada leram as explicações escritas por aquele primeiro grupo, sem nenhum contato com quem tinha escrito. Deram, em média, 2,72. Praticamente a mesma nota da avaliação final de quem escreveu. A recalibração era real, não vergonha nem timidez na frente do pesquisador.

Ou seja: você não sabe que não sabe. E o detalhe mais incômodo é que não existe nenhum sinal de alarme te avisando disso, porque no dia a dia ninguém te obriga a escrever o mecanismo passo a passo. A IA, aliás, faz o oposto disso: ela entrega a explicação pronta, fluente, no seu nível, sem nunca te testar pra saber se você entenderia sozinho.

A regra é a mesma do avião: profundidade só onde você assina embaixo

Aqui entra a pergunta que interessa de verdade: onde isso importa? Porque “aprofunde-se em tudo” é sermão, e ninguém tem tempo pra isso.

Você não precisa entender aerodinâmica pra voar de avião. Não é sua responsabilidade se o avião cai, então tanto faz se você entende de verdade o motor ou só acha que entende. Agora troque o avião por uma proposta, um número, uma decisão que vai sair com o seu nome embaixo. Ali a régua muda inteira. Se você não tem profundidade suficiente pra perceber quando aquela resposta bonita e coerente está errada, quem paga a conta é você, não a ferramenta que escreveu.

Profundidade não é virtude. É função de responsabilidade. Você precisa dela exatamente onde vai assinar embaixo, e pode dispensar em quase tudo o mais.

O dado que devia assustar mais gente: treinar pra usar prompt piorou o resultado

Em 2023, pesquisadores de Harvard, junto com o BCG, rodaram um experimento de campo com 758 consultores de verdade usando GPT-4, num trabalho chamado “Navigating the Jagged Technological Frontier”, publicado depois na revista Organization Science. Uma parte da tarefa caía dentro do que a IA faz bem, outra parte ficava fora.

No pedaço de fora, 373 consultores receberam um estudo de caso em que a planilha parecia completa, mas as notas de entrevista mudavam a conclusão inteira. Quem resolveu sem IA acertou 84,5% das vezes. Quem usou GPT-4 sozinho, 70%. E o grupo que recebeu treinamento em como escrever prompt melhor acertou só 60%, o pior resultado dos três.

Treinar pra usar melhor a ferramenta piorou o discernimento. Porque técnica de prompt não é a mesma coisa que conhecimento de domínio, e o problema nunca foi escrever o pedido direito. Foi não ter profundidade suficiente pra perceber que a resposta, bem escrita e confiante, estava simplesmente errada. Isso não é a IA deixando ninguém mais burro. É a IA tirando o atrito que antes te fazia perceber, na hora, que você não sabia o suficiente pra confiar naquilo.

Duas coisas pra fazer hoje, antes de mandar qualquer prompt

A primeira é a mais barata que existe: formule sua própria resposta antes de ler a da IA. Escreva em 30 segundos, mesmo mal formulada, o que você acha que é a resposta certa. Isso usa o efeito de geração, descrito por Slamecka e Graf em “The Generation Effect” (1978): informação que você mesmo produz fica mais fácil de reconhecer depois do que informação que você só lê. E serve como antídoto direto: se você já formulou uma resposta, percebe na hora quando a da IA só está bonita, ou quando está de fato melhor que a sua.

A segunda é virar contra o problema o mesmo teste que Rozenblit e Keil usaram pra descobrir ele. Depois de receber uma resposta que você vai usar de verdade, feche a tela e tente reconstruir o raciocínio inteiro, de memória, sem consultar de novo.

Escreva de memória, em três frases, como o mecanismo funciona. Se travar, é sinal de que ali você estava raso, mesmo que a resposta parecesse perfeita.

O ponto exato em que você trava é o ponto exato em que estava exposto, sem saber.

O que eu tiro disso

Que a habilidade mais rara agora não é saber usar a ferramenta. É ter profundidade em algo real, o suficiente pra notar quando a resposta bonita está errada.

A IA comoditizou a amplitude: qualquer um escreve um contrato razoável, monta uma planilha decente, explica um conceito com clareza, tudo em segundos. O que ficou escasso é justo o oposto: a pessoa que foi fundo o bastante num assunto pra enxergar o erro escondido dentro de uma resposta que parece perfeita.

Isso não significa virar especialista em tudo, o que é impossível. Significa escolher, com cuidado, onde você vai assinar embaixo, e garantir que ali, só ali, você entende de verdade o mecanismo. No resto, tudo bem usar a amplitude de graça que a IA oferece pra todo mundo por igual.