Agentes de IA concordam mais entre si do que com resultados reais de laboratório, revela novo benchmark científico
Um novo estudo publicado no arXiv revela que, ao tentar prever resultados de experiências científicas, agentes de inteligência artificial concordam mais entre si do que com os dados reais medidos em laboratório.
O estudo, liderado pela UniPat AI e publicado como "Science Prediction Universe" (SPU), testou 13 configurações de agentes construídas sobre 12 modelos de fronteira, usando os ambientes Codex e Claude Code, contra 100 tarefas públicas verificadas (química, ciência de materiais, biologia, medicina) e 16 tarefas privadas de experiências laboratoriais ainda não publicadas.
Os resultados variaram entre 0,227 e 0,478 de correlação com os dados reais, mas a concordância média entre pares de configurações foi de 0,52 — contra apenas 0,33 de concordância com as medições reais, um padrão confirmado em 81 das 100 tarefas. Num caso de oncologia, onze configurações concordaram entre si a 0,90, mas apenas 0,27 com os dados reais medidos. Os autores, analisando 1.155 trajetórias, concluem que o principal obstáculo não é a utilização de ferramentas, mas o "julgamento científico": os agentes partilham os mesmos pressupostos prévios, o que explica a concordância artificial entre si.
Perguntas frequentes
Porque é que vários agentes de IA concordarem entre si não significa que estejam certos?
Porque partilham os mesmos pressupostos de base sobre como os resultados deveriam evoluir, pelo que podem convergir no mesmo erro em vez de na resposta correta, como mostrou este estudo.
Fontes
- arXiv — Science Prediction Universe arxiv.org
- Let's Data Science letsdatascience.com
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.