🚀 EmbeddingGemma 2 от Google DeepMind: текст, код, картинки, видео и звук в одном векторе

6 октября Google DeepMind выпустила EmbeddingGemma 2 — открытую модель эмбеддингов, которая кладёт текст, код, изображения, видео и аудио в общее 768-мерное пространство. По данным Habr, модель на 740 млн параметров, но модульная: 270 млн текст, 170 млн зрение, 300 млн аудио. Лицензия Apache 2.0, веса на Hugging Face.

Главная ставка — локальный запуск на телефоне. Текстовая часть на Pixel 11 Pro занимает около 191 МБ оперативной памяти, полная мультимодальная — 567 МБ. Это меньше, чем браузер с парой вкладок. Внутри — локальное внимание для 5 из 6 слоёв (окно 1024 токена) и только один слой с глобальным взглядом. Словарь на 262 144 токена, пулинг усредняет выходы токенов, линейный слой добивает до 768.

Качество неоднородное: на многоязычном тексте MTEB multilingual v2 почти не сдвинулся — 61.36 против 61.15 у первой версии, зато код вырос на 10 пунктов до 78.68. Вся новизна в мультимодальности: картинки, видео и аудио теперь в том же пространстве. Matryoshka-векторы позволяют обрезать размерность с 768 до 512, 256 или 128. На 256 потери небольшие, на 128 мультимодальные бенчмарки проседают сильно — MMEB v2 падает с 59.01 до 45.65. Google рекомендует 128d только для текстовых задач.

Работать с моделью просто через sentence-transformers, но есть подводные камни. float16 ломает модель — нужен bfloat16 или float32. Обрезанный вектор нужно нормализовать заново. Без префиксов типа task: search result | query: точность ниже. Заявлено 100+ языков, но Google признаёт неравнозначность — для русского проверять отдельно. Фильтров безопасности нет: это сырой предобученный эмбеддер.

EmbeddingGemma 2 не улучшает текстовый поиск — она переносит мультимодальный поиск на устройство. 191 МБ текстового эмбеддера в кармане делает приватный RAG и офлайн-поиск по своим данным реальностью без облачных API. Цена локальности — падение мультимодального качества на 128 измерениях почти в полтора раза.

#EmbeddingGemma #GoogleDeepMind #embeddings #ondevice #multimodal