Языковая модель с 28,9 млн параметров заработала на ESP32-S3

Разработчик Вячеслав Сербов, выступающий под псевдонимом slvDev, продемонстрировал полностью локальную генерацию текста на микроконтроллере ESP32-S3. Созданная им языковая модель содержит 28,9 млн параметров и выдаёт около 9,9 токена в секунду, не обращаясь к серверу или другим внешним вычислительным ресурсам. Сгенерированные короткие рассказы выводятся на подключённый OLED-дисплей.
( читать дальше... )
 esp32-s3, llm, микроконтроллеры

Читать полностью

#LinuxOrgRu
@linux_potok