Tencent открыла WeMM-Embedding — мультимодальную модель, которая уже обрабатывает около 1 миллиарда запросов в день внутри Weixin.

Модель работает с текстом, изображениями и видео и учитывает порядок, в котором они появляются.

Версия на 9B заняла первое место в MMEB-v2 с результатом 80,6.

Младшая версия на 2B сохраняет 98,7% качества даже при размерности 256.

При этом размерность можно уменьшить до 64 для быстрого поиска или увеличить до 2048 для более точного ранжирования — без переобучения модели.

Теперь WeMM-Embedding доступна в открытом доступе.