Antes de contratar um projeto de RAG, responda três perguntas

Chega uma proposta de projeto de IA que vai “conectar a IA aos documentos da sua empresa”. Tem nome técnico, tem cronograma, tem preço. E na maior parte das vezes que eu vejo isso numa empresa pequena, o problema se resolvia sem projeto nenhum.

O nome que aparece na proposta é RAG (retrieval-augmented generation, geração aumentada por recuperação). O conceito é bem mais simples que o nome: em vez de esperar que o modelo saiba a resposta de cabeça, o sistema busca os trechos relevantes nos seus documentos e cola junto com a sua pergunta. O modelo responde lendo, não lembrando. É a diferença entre pedir pro advogado responder de memória e pedir pra ele responder com o contrato aberto na frente. A ideia vem de um paper de 2020, “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”, de Lewis e colegas.

O que mudou desde então é o tamanho da janela de contexto (quanto texto cabe numa conversa de uma vez). Em 2020 cabiam poucas páginas. Já existe modelo com janela de 1 milhão de tokens (token é o pedacinho de palavra que o modelo conta), e a própria documentação do Google traduz essa escala: 1 milhão de tokens dá mais ou menos 8 romances em inglês.

Ou seja: em muito caso você não precisa de RAG. Joga o material inteiro no contexto e pergunta. É mais simples, mais barato de construir, e não tem risco de o sistema buscar o trecho errado, porque não tem busca.

As três perguntas

1. O acervo cabe na janela, com folga? Se não cabe, a conversa acabou: contexto longo não é opção. Esse é o limite físico, e ele não se negocia.

2. Com que frequência ele muda? Material estável, um contrato, um relatório, as atas do trimestre, você cola e pronto. Material que muda toda semana você teria que recolar toda semana, na mão.

3. Quantas consultas por dia? Aqui mora o dinheiro. Você paga o contexto a cada pergunta. Se são 500 mil tokens de material e 200 consultas por dia, são 100 milhões de tokens de entrada por dia pro mesmo material. O RAG manda só os trechos relevantes, uns poucos milhares de tokens.

Antes que o fornecedor te corrija: existe cache de contexto, e reenviar o mesmo material custa cerca de um décimo do preço, tanto na Anthropic quanto na Gemini API. Só que o cache tem prazo (na Anthropic, cinco minutos por padrão) e manter ele de pé é cobrado por hora na tabela do Google. Um décimo de 500 mil tokens por pergunta ainda é muito mais do que os poucos milhares do RAG.

Tem um quarto custo que não é dinheiro: mais contexto não é automaticamente melhor. A documentação da Anthropic dá nome ao fenômeno, context rot: conforme o total de tokens cresce, a precisão e a capacidade de achar a informação caem. Enterrar o que importa no meio de 800 mil tokens de coisa irrelevante atrapalha, não ajuda.

A versão honesta

A maior parte das pequenas empresas que acha que precisa de RAG precisa organizar a pasta.

RAG não é um botão que se liga. É um sistema pra manter: reindexar quando o acervo muda, monitorar se a busca está trazendo o trecho certo, cuidar do que entra. Isso tem custo mensal de gente, não só de servidor.

Comece pelo simples. Junta os documentos, vê se cabem numa janela, cola e testa por duas semanas. Se travar em uma das três, você vai saber exatamente em qual. E vai comprar o projeto sabendo o que está comprando, em vez de comprar o nome.