Boletim IANotícias de inteligência artificial em português, todos os dias

Ciência e curiosidades

Agentes de IA concordam mais entre si do que com resultados reais de laboratório, revela novo benchmark científico

Um novo estudo publicado no arXiv revela que, ao tentar prever resultados de experiências científicas, agentes de inteligência artificial concordam mais entre si do que com os dados reais medidos em laboratório.

O estudo, liderado pela UniPat AI e publicado como "Science Prediction Universe" (SPU), testou 13 configurações de agentes construídas sobre 12 modelos de fronteira, usando os ambientes Codex e Claude Code, contra 100 tarefas públicas verificadas (química, ciência de materiais, biologia, medicina) e 16 tarefas privadas de experiências laboratoriais ainda não publicadas.

Os resultados variaram entre 0,227 e 0,478 de correlação com os dados reais, mas a concordância média entre pares de configurações foi de 0,52 — contra apenas 0,33 de concordância com as medições reais, um padrão confirmado em 81 das 100 tarefas. Num caso de oncologia, onze configurações concordaram entre si a 0,90, mas apenas 0,27 com os dados reais medidos. Os autores, analisando 1.155 trajetórias, concluem que o principal obstáculo não é a utilização de ferramentas, mas o "julgamento científico": os agentes partilham os mesmos pressupostos prévios, o que explica a concordância artificial entre si.

Perguntas frequentes

Porque é que vários agentes de IA concordarem entre si não significa que estejam certos?

Porque partilham os mesmos pressupostos de base sobre como os resultados deveriam evoluir, pelo que podem convergir no mesmo erro em vez de na resposta correta, como mostrou este estudo.

Fontes

Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.

Recebe o Boletim IA no email

As notícias de inteligência artificial do dia, em português, todas as manhãs. Grátis, e cancelas quando quiseres.

Ao subscreveres aceitas receber o boletim por email. Primeiro enviamos um email para confirmares. Os teus dados são tratados conforme a política de privacidade.

↑