Novo sistema de IA para revisão por pares deteta 73% dos erros "plantados" em artigos científicos
Um artigo publicado no arXiv a 8 de outubro apresenta o Multi-Layered Review (MLR), um sistema de revisão por pares assistido por IA que detetou 73,43% de erros centrais "plantados" artificialmente em artigos científicos, contra apenas 14,81% do melhor sistema anterior testado (AgentReview).
O MLR usa três agentes de IA baseados em modelos Claude: um que resume experiências e detalhes de implementação, um agente opcional de revisão de literatura com pesquisa na web, e um agente de revisão principal que corre uma cadeia de três passagens antes de produzir pontos fortes, fracos, perguntas e uma recomendação final.
Os autores construíram um "Contradiction Benchmark" com 1.164 contradições inseridas em 257 artigos de conferências como ACL, AISTATS, CVPR, ICML e NeurIPS; cada revisão custa cerca de 0,47 dólares em tokens.
Nota de verificação: reportagem secundária atribui este trabalho à Sakana AI, mas a lista de autores no resumo do arXiv não menciona essa empresa explicitamente — a afiliação deve ser tratada como não totalmente confirmada na fonte primária.
Fontes
- arXiv (paper 2610.11087) arxiv.org
- MarkTechPost www.marktechpost.com
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.