Google выпустила EmbeddingGemma 2, локальную модель для поиска сразу по тексту, коду, изображениям, видео и аудио

Модель превращает все эти данные в единое пространство числовых представлений. Благодаря этому можно, например, написать запрос словами и найти подходящий момент в видео, фотографию, фрагмент кода или аудиозапись без предварительной расшифровки каждого формата.

Полная EmbeddingGemma 2 содержит 740 млн параметров, но архитектура модульная. Только текст и код требуют 270 млн параметров, текст с изображениями 440 млн, текст с аудио 570 млн. Ненужные части модели можно вообще не загружать в память.

На Pixel 11 Pro текстовая версия занимает около 191 МБ активной памяти, полная мультимодальная около 567 МБ. Данные при этом можно обрабатывать полностью на устройстве без отправки в облако.

Контекст для текста вырос до 8192 токенов. По поиску в коде новая версия набирает на 14% больше EmbeddingGemma первого поколения, а размер векторов можно уменьшать с 768 до 128 измерений, сокращая объём индекса до шести раз.

Модель открыта под Apache 2.0 и уже работает через sentence-transformers, Transformers, MLX, Ollama, LM Studio, vLLM и другие популярные инструменты.

dailyprompts.ru
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto

Другие каналы по темам:
🤖 AI @maltsevdaily
🧑‍🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym