O modelo não lê seu texto como você lê
Todo modelo de linguagem tem um jeito de ler texto completamente diferente do seu, e isso não é detalhe técnico: é o motivo pelo qual uma instrução enterrada no meio de um prompt longo simplesmente se perde.
Conteúdo da biblioteca
Deixa seu nome e e-mail pra continuar lendo
Você destrava esta pílula e todas as outras da biblioteca.
Você preenche uma vez só. Depois disso tudo o que é fechado abre direto neste navegador, e o mesmo e-mail te coloca na newsletter.
Você escreve de cima pra baixo, palavra por palavra, e espera que a IA leia do mesmo jeito. Ela não lê. E essa diferença, sozinha, explica por que uma instrução importante enterrada no meio de um texto longo se dilui, e por que dar contexto antes do pedido funciona tão bem.
Até 2017, os modelos de texto liam do jeito que você lê: em fila, uma palavra de cada vez, carregando um resumo mental do que já tinha passado. É como ler um contrato de quarenta páginas por um buraquinho que mostra uma palavra por vez, sem poder voltar, guardando tudo num bloquinho que só cabe algumas linhas. Duas coisas davam errado com esse método. O começo do texto se diluía até sumir, porque o resumo tinha tamanho fixo. E processar a palavra 500 exigia ter processado a 499 antes, então não dava pra dividir o trabalho entre várias máquinas ao mesmo tempo, mesmo com placas de vídeo feitas pra fazer milhares de contas em paralelo.
Em 2017, oito pesquisadores do Google publicaram “Attention Is All You Need” (Vaswani et al., 2017) propondo jogar fora a leitura em fila inteira e ficar só com um mecanismo chamado atenção. A ideia: em vez de processar palavra por palavra, o modelo olha para o texto inteiro de uma vez, e calcula, para cada palavra, quanto peso dar a cada uma das outras.
O exemplo clássico do próprio artigo mostra o que isso resolve. Na frase em inglês “the animal didn’t cross the street because it was too tired” (o animal não atravessou a rua porque estava cansado demais), o “it” se refere ao animal. Troque uma palavra no fim, “too wide” no lugar de “too tired” (larga demais, no lugar de cansado demais), e o “it” passa a se referir à rua. Uma palavra no fim da frase mudou o sentido de um pronome que está no meio dela, e nenhuma regra de gramática dá conta disso: resolve quem souber que animal cansa e rua é larga. É isso que o cálculo de atenção faz, olhando pra frase inteira de uma vez, não em fila.
É aqui que a coisa aterrissa no seu prompt. Como o modelo distribui peso entre todas as partes do texto de uma vez, uma instrução que você enterra no parágrafo seis de doze compete, no cálculo de atenção, com tudo em volta dela, e recebe peso proporcional à sua posição e clareza, não ao quanto ela importa pra você. Instrução no começo do prompt tende a receber mais peso, porque tudo que vem depois foi gerado já olhando pra ela. É por isso que dar o contexto antes do pedido, e não depois, muda o resultado: você está literalmente decidindo em que direção o cálculo de peso vai apontar.
O modelo não lê como você lê. Ele lê tudo de uma vez, e onde você coloca a frase decide quanto peso ela carrega.
Fontes
- Vaswani, A. et al., Google, 2017. "Attention Is All You Need"