Boletim IANotícias de inteligência artificial em português, todos os dias

Investigação académica

Hugging Face destaca papers sobre destilação entre tokenizers e treino FP4 de modelos MoE

O Hugging Face Daily Papers de 7 de outubro reuniu 70 artigos, com destaque para investigação sobre eficiência de treino e fiabilidade de agentes de IA.

O artigo mais votado (153 upvotes), sobre destilação "on-policy" entre modelos com diferentes tokenizers, mostra que restringir o alinhamento a um subconjunto de tokens em posições bem alinhadas tem desempenho semelhante à destilação completa de vocabulário partilhado. Outro, a TRACE (74 upvotes), propõe uma framework de treino por reforço em FP4 (4 bits) para modelos "mixture-of-experts", alcançando até 5,4 vezes mais velocidade sem perder desempenho face ao formato BF16 habitual.

Um terceiro trabalho, "From Evidence to Action: How Tool-Using Agents Fail" (34 upvotes), estuda porque é que agentes de IA que avaliam bem se uma ação é apropriada falham, ainda assim, na execução real — muitas vezes por pararem de investigar demasiado cedo ou agirem antes de reunir evidência suficiente; os autores propõem um novo benchmark, o SafeActBench, com 656 casos em seis domínios. Um quarto artigo, o HuatuoGPT-3, mostra um modelo médico de 27 mil milhões de parâmetros treinado só com aprendizagem por reforço a superar, segundo os autores, modelos de fronteira em testes de conhecimento clínico (HealthBench).

Fontes

Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.

Recebe o Boletim IA no email

As notícias de inteligência artificial do dia, em português, todas as manhãs. Grátis, e cancelas quando quiseres.

Ao subscreveres aceitas receber o boletim por email. Primeiro enviamos um email para confirmares. Os teus dados são tratados conforme a política de privacidade.

↑