Técnica "byteification" ensina modelos de IA a contar letras corretamente
Um artigo da Nature, publicado a 7 de outubro, descreve uma técnica chamada "byteification" que resolve o problema clássico de os modelos de linguagem não conseguirem contar letras individuais em palavras.
O exemplo mais conhecido é a palavra inglesa "Strawberry", que tem três "r" mas à qual muitos modelos respondem erradamente "dois". A causa está na tokenização: a maioria dos modelos de linguagem codifica palavras como "tokens" que representam sequências de letras, sem acesso direto aos caracteres individuais armazenados como bytes. A técnica de byteification, descrita no artigo original de investigação de Minixhofer e colegas, adapta modelos já treinados — baseados em tokens — para operarem ao nível do byte, mantendo um desempenho competitivo e ganhando a capacidade de ler caracteres individuais.
O comentário de análise que acompanha o artigo é assinado por Zhao Zhang e Yingfei Xiong, da Universidade de Pequim.
Fontes
- Nature www.nature.com
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.