Что скрывается за шумом вокруг больших маленьких языковых моделей?

На фоне моего увлечения МАС (МАС — это когда много маленьких автономных агентов решают общую задачу без единого центра. 🫶 Каждый агент видит только свою часть мира, принимает решения локально, обменивается сообщениями с соседями) появилось желание разобраться с легковесным ML.

А теперь представь, что каждый такой агент работает на микроконтроллере с TinyML внутри 👌. Он понимает сенсоры, классифицирует события, предсказывает состояние, но сам по себе он дурачок наивный!

И если в области обработки естественного языка необходимость развертывания ИИ на низкоресурсных устройствах способствовала развитию малых языковых моделей (Small Language Models, SLM), то что у нас с классическим МЛ? 😪 По порядку.  

Сегодня к категории SLM обычно относят модели с числом параметров от 1 до 8 миллиардов. 🤜 В 2023 году начался бум открытых SLM — появились LLaMA, Phi, Mistral и другие. Малые модели не используются в качестве инструментов общего назначения (как GPT-4), однако могут успешно справляться с узкоспециализированными отраслевыми задачами. Со смолами все понятно, берем опенсорс и дообучаем на своей экспертизе. Но параллельно со SLM, но гораздо менее заметно, развивался кластер технологий TinyML. Он ориентирован на внедрение ИИ-моделей в сверхмаломощные устройства — с энергопотреблением в десятки милливатт и менее. Речь идёт о микроконтроллерах, которые стоят копейки, работают годами от батарейки-таблетки и встречаются повсюду. Обучим дома нейронку на данных со стиралки и предскажем поломку?

Главное отличие TinyML от SLM —  работа в условиях жёстких ограничений по памяти (сотни килобайт), энергии (милливатты) и латентности (миллисекунды). SLM может работать на смартфоне с гигабайтами RAM. TinyML — на чипе за 200 рублей с 256 КБ памяти.

Именно в этой парадигме создан репозиторий MCUNet — наглядное подтверждение того, что глубокое обучение на микроконтроллерах это работающая тема. 🥊 Там ссылки на их статьи, посты, исследования - можно ознакомиться. 

TinyML решает задачу локального интеллекта. Но что, если несколько таких устройств должны обмениваться данными в реальном времени? Или если данных слишком много для обработки на одном микроконтроллере? 
🥰 Тут на сцену выходит связка Edge AI (обработка на границе сети) и 5G (высокоскоростная, низколатентная связь). По ссылке -  пост позитивов про Эдж вычисления и немного про лекговесный  ML. Если обычный ML стремится к максимальной точности любой ценой, то TinyML ищет идеальный баланс между точностью, размером модели, скоростью работы и энергопотреблением.

Он как возвращает нас к тому, на что учились! Основам компьютер сайнс (память, кэш, инструкции процессора), которые почти исчезли в эпоху больших GPU. Специалист, который умеет делать нейросеть точной и при этом втиснуть её в 256 КБ будет востребован везде, где железо не бесконечно (то есть вообще везде).

Что  ты реально сможешь после того, как освоишь TinyML?
❤️ Квантизация и прунинг  (Любая модель на мобильном устройстве или в браузере (TensorFlow.js, ONNX Runtime))
❤️ Дистилляция знаний (Когда у вас есть крутая большая модель, но клиенту нужна маленькая и быстрая)
❤️ NAS под ограничения (Проектирование моделей для edge-девайсов (камеры, дроны, роботы))
❤️ Работа со sparsity (Оптимизация трансформеров, MoE)

Мысли вслух! Учимся здесь , учебник.

Большой интеллект не программируют сверху — он вырастает из маленьких.
Все!
🤪