Языковая модель с 28,9 млн параметров заработала на ESP32-S3

Разработчик Вячеслав Сербов, выступающий под псевдонимом slvDev, продемонстрировал полностью локальную генерацию текста на микроконтроллере ESP32-S3. Созданная им языковая модель содержит 28,9 млн параметров и выдаёт около 9,9 токена в секунду, не обращаясь к серверу или другим внешним вычислительным ресурсам. Сгенерированные короткие рассказы выводятся на подключённый OLED-дисплей.
( читать дальше... )



 esp32-s3, llm, микроконтроллеры

👉@sysadminoff

https://www.linux.org.ru/news/ai/18353997