Gemma-4-26B-A4B-it — первая open-weight MoE-модель Google в линейке Gemma

👋 В каталоге immers.cloud появилась Gemma-4-26B-A4B-it — модель, которая делает ставку не на максимальный размер, а на эффективную архитектуру. При 25,2 млрд общих параметров на каждом токене активируется только 3,8–4 млрд, поэтому она даёт сильное качество без избыточных требований к инфраструктуре.

Что здесь важно:
▪️ Первая MoE-модель Gemma: около 97% качества плотной версии 31B при заметно меньших вычислительных затратах.
▪️ Контекст до 256K токенов: подходит для больших документов и многошаговых сценариев.
▪️ Гибридное внимание: 30 слоёв и sliding window на 1024 токена для более эффективной работы с длинным контекстом.
▪️ Мультимодальность: модель работает не только с текстом, но и с изображениями.
▪️ Фокус на агентные задачи: подходит для систем, где модель должна анализировать, планировать и выполнять последовательность действий.
▪️ Высокая практическая скорость: пользователи отмечают до 162 токенов в секунду на RTX 4090.

📲 Подробнее — в слайдах.

➡️ Тестируйте Gemma-4-26B-A4B-it в каталоге immers.

#ИИ_модели