Новая линейка моделей GigaEmbeddings в открытом доступе

Бесплатные модели под лицензией MIT, переводят текст в векторы для RAG-системы и поиска по смыслу. Стали сильнее на английском языке и особенно в задачах с кодом, получили поддержку vLLM и SGLang и подходят для разных требований к качеству и производительности. На выбор дали три размера — от совсем легкой 480M до флагмана на 10B.

При обучении гоняли открытые датасеты Nemotron, F2LLM и KALM, плюс использовали дистилляцию для младшей версии. В итоге 10B-A1.8B взяла первое место в ruMTEB и ускорила инференс в два раза, 3B прибавила 14,5 пункта в коде, а 480M стала лучшей на русском среди малопараметрических моделей.

@ai_newz