Voltar para o blog
João EstrellaBlog·

O teste de bebê que os geradores de vídeo reprovam

Pesquisadores pediram a geradores de vídeo por IA que mostrassem uma bola entrando num túnel e saindo do outro lado. Vários deixaram a bola sumir, duplicar ou atravessar parede. É um teste feito pra bebê, e mostra o que esses modelos realmente aprendem.

Imagine um vídeo curto feito por IA: três bolas coloridas rolam lado a lado, em três pistas, e entram num túnel opaco, daqueles em que você não enxerga o que passa lá dentro. Você espera ver três bolas saindo do outro lado, cada uma na sua pista. O que um dos geradores mais conhecidos mostrou foi uma quarta bola, que nunca existiu, e as outras saindo fora das pistas.

A explicação padrão pra vídeo de IA dar errado é que ainda falta qualidade: a mão sai com seis dedos, o texto na placa vira rabisco. Tudo isso é verdade, e a tendência é melhorar. Mas tem uma camada embaixo, e ela não é de qualidade de imagem. É de entender que uma coisa escondida continua existindo.

Um bebê aprende isso cedo. Se uma bola rola pra trás de uma tela, ele espera que ela apareça do outro lado. Se não aparece, ele reage, e os pesquisadores medem esse comportamento de orientação e de exploração. O nome é permanência do objeto, e o experimento clássico é de Baillargeon, Spelke e Wasserman (1985), “Object permanence in five-month-old infants”, publicado na revista Cognition: por volta dos cinco meses, os bebês já respondem a isso.

O teste: o que some, duplica ou atravessa

Em setembro de 2026, 31 autores, entre eles Haotian Zhang, Fengyuan Yu e Dezhi Luo, de universidades como Carnegie Mellon, Johns Hopkins, Columbia, Stanford, Oxford e Harvard, publicaram no arXiv (o repositório onde pesquisa aparece antes da revisão formal) o paper “Training Object Permanence in World Models”. A tese, em uma frase: os geradores de vídeo mais conhecidos não guardam que o objeto escondido continua lá, e dado fabricado de propósito, com a regra dentro, ajuda a ensinar isso.

Todos os erros abaixo acontecem dentro de um único clipe contínuo, sem corte de cena. O gerador recebe a cena montada e tem que mostrar o que acontece. Quatro situações:

  1. O túnel. Três bolas entram num túnel opaco. O certo é saírem as três. O Gemini Omni Flash 1.1, do Google, devolveu quatro, fora das pistas.
  2. A sinuca. Uma bola branca vai bater num triângulo de seis bolas, sete com a branca. O certo é continuar com sete. No mesmo Gemini, antes da tacada, o próprio triângulo já aparecia com bolas a mais, doze ou mais. E depois da batida, uma bola roxa simplesmente sumiu.
  3. O copo. Uma bolinha fica escondida debaixo de um copo, sobre uma plataforma que gira. Depois de meia volta, o certo é levantar o copo que cobre a bola. A plataforma gira, então o copo que estava na frente no começo já não é o que cobre a bola, e o Seedance 2.5 levantou justamente esse, como se seguisse o lugar na plataforma e não o copo.
  4. A barreira. Uma bola rola em direção a uma parede com um furo menor que ela. O certo é a bola parar. O Seedance 2.5 deixou a bola atravessar, como se a parede fosse um desenho. Foi a falha mais comum entre os modelos testados, inclusive MiniMax H3 e Wan 3.0 Prime.
Cena O que deveria acontecer O que aconteceu
Três bolas entram num túnel opaco Saem três, cada uma na sua pista Gemini Omni Flash 1.1: saem quatro, fora das pistas
Bola branca vai bater num triângulo de seis bolas (sete com a branca) Continuam sete Gemini Omni Flash 1.1: o triângulo já aparece com doze ou mais, e uma bola roxa some depois da batida
Bolinha sob um copo, plataforma gira meia volta Levanta o copo que cobre a bola Seedance 2.5: levanta o copo que estava na frente no começo
Bola rola contra parede com furo menor que ela A bola para Seedance 2.5, MiniMax H3 e Wan 3.0 Prime: a bola atravessa

O que os autores fizeram: fabricar a regra

Faltam, no mundo real, vídeos em que essa regra apareça com clareza, então os autores fabricaram. Desenharam 150 tipos de cena parecidos com os experimentos de psicologia: objeto que some atrás de uma tela, objeto dentro de um recipiente, barreira, queda, colisão. Com o Blender (um programa gratuito de animação 3D) geraram variações de velocidade, luz e ângulo de câmera, o que dá mais de 10 mil vídeos por tipo de cena e 1,5 milhão no total. Treinaram um modelo próprio com isso, o PWM-WROP.

Pra medir, montaram uma prova de 300 questões e pediram a 20 pessoas que comparassem, sem saber qual modelo era qual, vídeos de 14 modelos, escolhendo o que respeitava melhor a física. O PWM-WROP ficou em terceiro lugar, atrás de um empate entre Wan 3.0 Prime e MiniMax H3, e em primeiro entre os modelos que continuam um vídeo que já existe. O vídeo deles é bem menor, do tamanho de uma miniatura, contra alta definição dos outros. Mas ele foi bem em objeto escondido e ficou em oitavo em colisão: ensinar uma regra não garantiu a outra.

Isso me interessa mais que o ranking, porque inverte a receita comum: em vez de mostrar milhões de vídeos reais e esperar que a regra apareça sozinha, eles escreveram a regra nos exemplos.

Por que isso muda o enquadramento

Pra mim, o ponto principal é que o problema sai da coluna “ainda falta resolução e potência” e vai pra coluna “o que o modelo aprendeu a fazer”. O gerador de vídeo aprendeu como o mundo parece. Não aprendeu, de forma garantida, como ele funciona. Os dois quase sempre coincidem, e é por isso que a maior parte do vídeo sai convincente. O erro aparece onde a aparência e a regra se separam: no que está escondido, no que é contado, no que bate em quê.

O que dá pra fazer hoje

Primeiro, onde o problema acontece: dentro de um mesmo clipe, quando algo some atrás de outra coisa e tem que voltar igual, quando tem contagem, ou quando dois objetos se tocam. Manter o mesmo objeto de um clipe pro outro, entre cortes de cena, é outro problema, e esse estudo não o testou.

Segundo, a pergunta óbvia: dá pra pôr isso no prompt? Descrever que a bola entra pela esquerda, passa pelo túnel e sai pela direita, que são três bolas, que a parede é sólida. Vale testar, sem promessa. O paper não testou prompt, mas o raciocínio dele aponta um limite: se o modelo não aprendeu a regra, a instrução pode virar só mais um texto a ser ilustrado.

Terceiro, o que dá pra fazer com certeza: conferir o vídeo antes de publicar, nos pontos do teste. Alguma coisa entrou atrás de outra? Confira se saiu igual. Tem mais de um objeto? Conte no começo e no fim. Algo atravessou uma parede, uma mesa, uma mão? E se puder, deixe o produto à vista em vez de escondê-lo, e prefira cortes curtos a uma cena longa em que a coisa precisa “lembrar” de si mesma.

O que eu tiro disso

Que o vídeo bonito é prova de que o modelo aprendeu a aparência, e não prova de que aprendeu a regra. A coisa escondida e a coisa contada são onde essa diferença aparece, e é onde vale olhar com calma antes de mandar pro mundo.

Um bebê de cinco meses já responde à mesma ideia. Pros geradores de vídeo, ela ainda é uma prova em aberto, e o próprio modelo dos autores, bem em objeto escondido, ficou só em oitavo em colisão.

Fontes

  • Zhang, H., Yu, F., Luo, D. e outros (2026). 'Training Object Permanence in World Models'. arXiv:2609.28654. arxiv.org/abs/2609.28654
  • Baillargeon, R., Spelke, E. S., Wasserman, S. (1985). 'Object permanence in five-month-old infants'. Cognition, 20(3), 191-208. Citado pelo paper acima

Uma carta por semana, sem hype

A ferramenta que funcionou, a que prometeu e não entregou, e o que isso muda no trabalho de segunda-feira. Direto no seu e-mail.

Sem spam · Descadastro em um clique