Magnitude: motor de inferência local open source com auto-ajuste para vários chips
O projeto Magnitude, de licença Apache 2.0, é um motor de inferência local de código aberto que perfila o hardware do utilizador, recomenda modelos e compila e ajusta automaticamente kernels para Apple Silicon, Nvidia e AMD.
Segundo a descrição do projeto, promete até duas vezes mais velocidade do que o popular llama.cpp.
Números de desempenho específicos citados por fontes secundárias (92% mais rápido em decode Metal, 19% em CUDA) não foram confirmados no próprio repositório, que não os apresenta.
Fontes
- GitHub github.com
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.