Релиз Giga-Embeddings-instruct! (ссылка на hugging-face)

Мы выложили в открытый доступ эмбеддинг модель Giga-Embeddings-instruct.

Giga-Embeddings-instruct занимает 2-ое(*) место в бенчмарке ruMTEB. Следующая после нас модель это e5-mistral-7b-instruct, которая имеет в 3 раза больше параметров (~7Б у mistral, –2.5B у нас).

Размер контекста модели 4096. Более 60 различных источников данных были использованы для обучения модели. Модель можно использовать для всех типов дискриминативных задач – классификация, поиск, ранжирование, и т.д.

За основу мы взяли GigaChat-pretrain-3B, заменили внимание с decoder на encoder, в качестве агрегации использовали Latent Attention Pooling.

(*) Модель на первом месте пока не выложена в опенсорс на момент написания поста 27.12.