Ультракомпактная модель Gemma 3 270M

Google выпустила новую модель, которая специально создана для локального запуска на слабых устройствах, таких как смартфоны: в режиме INT4 на смартфоне Pixel 9 Pro обработка ~25 диалогов потребляет менее 1% заряда. Из 270 млн параметров около 170 млн выделено под эмбеддинги (поддержка до 256k токенов), остальное – трансформерные блоки. Модель подходит для классификации и анализа текста, извлечения сущностей, маршрутизации запросов, структурирования данных, проверки на соответствие требованиям и офлайн-генерации контента.

Linux Club