Por que a IA inventa coisa com cara de verdade

Pessoa que não sabe dá sinal. Hesita, faz uma ressalva, olha pro lado. Você aprendeu a ler esse sinal antes de aprender a ler.

A IA não dá. Ela escreve com exatamente a mesma segurança quando sabe e quando está inventando. E aí a sua intuição, que funciona muito bem com gente, falha completamente.

O que falta na máquina

Chamam isso de alucinação, que é um nome ruim. Sugere um surto, algo excepcional. Não é. Do ponto de vista do sistema, nada de diferente aconteceu. Ele fez a mesma coisa que faz quando acerta.

Um modelo de linguagem (o motor por trás do ChatGPT, do Claude e dos outros) funciona prevendo qual é a próxima palavra mais provável. Aí a seguinte. Aí a seguinte. É um autocompletar muito sofisticado.

Agora repara no que não existe nesse processo:

• não existe uma etapa de conferir
• não existe um banco de dados sendo consultado
• não existe um estado de “eu não tenho essa informação”
• não existe a opção de não gerar nada

Esse último é o coração da coisa. Pergunta pra ele qual foi o faturamento da sua clínica em 2024 e não existe, na arquitetura, um caminho por onde saia silêncio. Vai sair uma continuação plausível para a frase “o faturamento da clínica em 2024 foi de”. E continuações plausíveis para essa frase são números.

O autocompletar do seu celular nunca diz “não sei o que você quer escrever”. Sempre sugere alguma coisa. É a mesma característica, com qualidade muito maior.

Onde o risco mora

Disso sai um padrão prático que vale guardar: a invenção fica mais provável quanto mais específica, rara ou recente for a informação.

O que é uma nota fiscal, como funciona juros compostos: assunto que apareceu milhões de vezes no treino sai certo quase sempre, porque o mais provável coincide com o verdadeiro.

Já o número exato de um artigo de lei, a cláusula do seu contrato, o nome do sócio de uma empresa pequena, um evento de semana passada. Aí o modelo preenche o buraco com o que soa certo.

A zona de perigo tem nome e sobrenome: número, nome próprio, data e citação.

O que fazer com isso

Trate qualquer saída de IA como o rascunho de um estagiário muito rápido, muito bem lido e absolutamente confiante, inclusive quando está errado.

Você não mandaria o texto do estagiário direto pro cliente sem ler. Também não demitiria ele por ser rápido e às vezes errar. Você lê, corrige, aproveita os 80% que estão bons e economiza as três horas que gastaria começando do zero.

Antes de qualquer coisa gerada com IA sair da sua mão, releia só essas cinco categorias: número, nome próprio, data, citação, e qualquer afirmação sobre a sua empresa que você não colocou ali.

Não é reler tudo. É reler isso. Leva um minuto, e é a diferença entre usar IA por anos sem incidente e passar vergonha uma vez.