✨ Языковую модель на 28,9 млн параметров запустили на микроконтроллере ESP32-S3

Нейросеть работает полностью локально на плате с 16 Мбайт флеш-памяти и 512 Кбайт SRAM, а сгенерированный текст выводится на небольшой дисплей.

Модель уместили на устройстве благодаря 4-битной квантизации и распределению весов между разными типами памяти, а нужные данные из таблицы эмбеддингов подгружаются из флеш-памяти по мере необходимости.

Для сравнения, предыдущий похожий проект уместил на ESP32 только модель на 260 тыс. параметров.

👉 https://habr.com/ru/news/1064114/