Boletim IANotícias de inteligência artificial em português, todos os dias

Ciência e curiosidades

Técnica "byteification" ensina modelos de IA a contar letras corretamente

Um artigo da Nature, publicado a 7 de outubro, descreve uma técnica chamada "byteification" que resolve o problema clássico de os modelos de linguagem não conseguirem contar letras individuais em palavras.

O exemplo mais conhecido é a palavra inglesa "Strawberry", que tem três "r" mas à qual muitos modelos respondem erradamente "dois". A causa está na tokenização: a maioria dos modelos de linguagem codifica palavras como "tokens" que representam sequências de letras, sem acesso direto aos caracteres individuais armazenados como bytes. A técnica de byteification, descrita no artigo original de investigação de Minixhofer e colegas, adapta modelos já treinados — baseados em tokens — para operarem ao nível do byte, mantendo um desempenho competitivo e ganhando a capacidade de ler caracteres individuais.

O comentário de análise que acompanha o artigo é assinado por Zhao Zhang e Yingfei Xiong, da Universidade de Pequim.

Fontes

Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.

Recebe o Boletim IA no email

As notícias de inteligência artificial do dia, em português, todas as manhãs. Grátis, e cancelas quando quiseres.

Ao subscreveres aceitas receber o boletim por email. Primeiro enviamos um email para confirmares. Os teus dados são tratados conforme a política de privacidade.

↑