Google наконец релизнули полную версию Gemma 3n

Это первая модель меньше 10 миллиардов параметров, выбившая на LMArena > 1300 баллов. Плюс это on-device, то есть модель предназначена для локального запуска.

Поддерживается текст, картинки, аудио и даже видео. По размеру есть два варианта: E2B и E4B. Буква E означает effective. По факту в моделях 5В и 8В параметров соответсвенно, но за счет архитектурных особенностей их можно запускать на железе с теми же затратами, как если бы это были 2B и 4В. На первую хватит всего 2GB.

В основе – MatFormer. Дословно «матрешечный трансформер» 🪆

Суть в том, что более крупная модель содержит меньшие версии себя. Теоретически, это значит, что модель сможет на инференсе динамически переключаться между моделями в зависимости от сложности запроса.

Пока что такое не реализовано, зато уже сейчас, имея веса одной модели, можно извлечь из нее подходящую именно под ваше железо под-модель с нужным количеством параметров.

Технически очень занятный релиз

developers.googleblog.com/en/introducing-gemma-3n-developer-guide/