Novo método CARM evita que correções opostas se anulem no treino por reforço de modelos de linguagem
Um novo paper propõe o método CARM para resolver um problema oculto no treino por reforço de grandes modelos de linguagem: respostas que deveriam ser penalizadas e outras que deveriam ser reforçadas podem anular-se mutuamente nos cálculos.
O paper "CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning", submetido ao arXiv a 1 de outubro de 2026 por Yafei Zhang, Songshuo Lu, Sicong Liao, Zhi Chen e Yaohua Tang, nota que o mascaramento tradicional usa a média geométrica normalizada por comprimento dos rácios de probabilidade de tokens amostrados — mas mudanças opostas de probabilidade podem cancelar-se mutuamente, escondendo o desvio real da política do modelo.
O método proposto usa o valor absoluto de cada rácio logarítmico antes de fazer a média, evitando esse cancelamento, com limites teóricos formais. Nos testes, trouxe até 3,13 pontos percentuais de melhoria em raciocínio matemático (benchmarks AIME) e 2,88 pontos de ganho médio em quatro benchmarks de geração de código, face à melhor base de comparação.
Fontes
- arXiv (via AlphaXiv) arxiv.org
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.