Carnegie Mellon mostra que modelos de IA "leem bem mas agem mal" ao tomar decisões rápidas
Um estudo da Carnegie Mellon University testou dezassete sistemas de IA "rápidos" e concluiu que a maioria dos erros não vem de más leituras do contexto, mas de más decisões apesar de uma leitura correta.
O paper, de Yubo Li, Ramayya Krishnan e Rema Padman, testou dezassete sistemas rápidos e um modelo de raciocínio em cenários simulados de atendimento ao cliente, uso de ferramentas, navegação web e programação, com perguntas factuais de controlo respondidas separadamente da decisão de ação.
A conclusão central: quanto mais preciso o sistema é a descrever o estado em que se encontra, maior a proporção dos seus erros que acontece depois dessa leitura correta — ou seja, o problema não é "não perceber a situação" mas "não conseguir combinar os factos certos para agir".
Fontes
- arXiv 2610.18579 arxiv.org
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.