Usaram um Elonex Pentium II 350MHz para o teste
A popularidade da inteligência artificial a tornou a principal protagonista de experimentos de todos os tipos. O 3DJuegos relatou o que aconteceria se um robô recebesse determinado poder, situação que levou à demissão de todos os robôs com os quais estava interligado. A IA também protagoniza experimentos trágicos trazidos para a vida real, já que o CEO de uma empresa decidiu eliminar 90% de seu quadro de funcionários para substituí-los por esta ferramenta.
Porém, como relata o TechSpot, desta vez o experimento de IA é muito mais inocente. Um grupo de pesquisadores conseguiu rodar um modelo de linguagem avançado baseado em LLaMA em um PC com Windows 98 que também possui um Pentium II com apenas 128 MB de RAM. Para isso, utilizaram um Elonex Pentium II 350 MHz, demonstrando que é possível rodar modelos de IA em sistemas extremamente modestos. E, graças ao código de Andrej Karpathy, eles tornaram a máquina capaz de gerar histórias coerentes localmente e em boa velocidade.
Excelente velocidade de processamento
O experimento revelou que eles conseguiram atingir um rendimento de 39,31 tokens por segundo com um modelo de 260.000 parâmetros. Desta forma, a EXO Labs conseguiu aprofundar a sua tentativa de democratizar o acesso à inteligência artificial, por isso quis demonstrar como esta é capaz de funcionar em dispositivos modestos. Para isso, a empresa trabalha no BitNet, uma arquitetura baseada em transformadores com pesos ternários que reduz drasticamente o tamanho dos modelos de IA.
Com o BitNet, um modelo com 7 bilhões de parâmetros requer apenas 1,38 GB de armazenamento, permitindo que seja usado em hardware barato. Assim, ele foi projetado para otimizar a IA dos processadores, eliminando assim a necessidade de placas de vídeo caras. Graças a isso, não só a acessibilidade aumenta, mas também consegue lidar com modelos com 100 bilhões de parâmetros em uma única CPU. E, com esta experiência, a EXO Labs mostrou que a sua luta para democratizar a IA está no caminho certo.
Por Viny Mathias, IGN Brasil
