Рассказываеся о ключевой особенности разработки Гугла – унифицированной архитектуре без использования отдельных кодировщиков для разных типов данных.
Разработчик упирает на то, что модель обрабатывает текст, аудио и изображения через единое LLM-ядро, благодаря чему демонстрирует производительность, близкую к более крупной версии (Gemma 4 26B MoE), но требует вдвое меньше памяти. Утверждают, что Gemma 4 12B можно запустить даже на ноутбуке с 16 ГБ оперативной или видеопамяти.
Также говорится про ой-какой размер контекстного окна в 256 тысяч токенов, позволяющий обрабатывать объёмные документы и репозитории с кодом. И ещё сообщается, что модель уже доступна для загрузки на платформах Hugging Face и Kaggle.

#news@reqsearch

https://vc.ru/ai/2963395-google-predstavila-multimodalnuyu-model-gemma-4-12b