⚡️ Яндекс выложил в открытый доступ техрепорт собственного семейства моделей Alice AI.

В новой линейке моделей — базовая текстовая Alice AI LLM и специализированная LLM Search, мультимодальная Alice AI VLM и Alice AI ART для генерации картинок. Компания описала все этапы работы над обновленной Alice AI — от претрейна и инфраструктурных изменений до инференса.

Значительные улучшения получили все модели в семействе, в первую очередь за счет собственных фреймворков и библиотек Яндекса. Среди самых интересных обновлений — подготовка к полноценной мультимодальности: настроена интеграция VLM с текстовой LLM за счет единых подходов RLHF.

Также прокачаны навыки по решению сложных математических и геометрических задач, улучшено качество ответов по предметам школьной программы. VLM получила более качественный OCR и может работать с большим качеством изображений, а LLM дает более точные ответы за счет улучшения подготовки данных.

Инфраструктурные изменения дали более высокую скорость ответа и возможность тренировать MoE-модели с сотнями миллиардов параметров.