Hugging Face destaca papers sobre destilação entre tokenizers e treino FP4 de modelos MoE
O Hugging Face Daily Papers de 7 de outubro reuniu 70 artigos, com destaque para investigação sobre eficiência de treino e fiabilidade de agentes de IA.
O artigo mais votado (153 upvotes), sobre destilação "on-policy" entre modelos com diferentes tokenizers, mostra que restringir o alinhamento a um subconjunto de tokens em posições bem alinhadas tem desempenho semelhante à destilação completa de vocabulário partilhado. Outro, a TRACE (74 upvotes), propõe uma framework de treino por reforço em FP4 (4 bits) para modelos "mixture-of-experts", alcançando até 5,4 vezes mais velocidade sem perder desempenho face ao formato BF16 habitual.
Um terceiro trabalho, "From Evidence to Action: How Tool-Using Agents Fail" (34 upvotes), estuda porque é que agentes de IA que avaliam bem se uma ação é apropriada falham, ainda assim, na execução real — muitas vezes por pararem de investigar demasiado cedo ou agirem antes de reunir evidência suficiente; os autores propõem um novo benchmark, o SafeActBench, com 656 casos em seis domínios. Um quarto artigo, o HuatuoGPT-3, mostra um modelo médico de 27 mil milhões de parâmetros treinado só com aprendizagem por reforço a superar, segundo os autores, modelos de fronteira em testes de conhecimento clínico (HealthBench).
Fontes
- Hugging Face Daily Papers huggingface.co
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.