🔎 Открываем претрейн Alice AI Search

Быстрый ответ Алисы AI — это самый массовый генеративный продукт Яндекса и первая точка контакта с Алисой для пользователей Поиска. Даже в час пиковой нагрузки он должен появляться за секунды. Поэтому мы, команда Alice AI Search, решили адаптировать весь пайплайн: от собственного претрейна с кастомной архитектурой до online RL на поведенческих сигналах аудитории.

Alice AI Search Pretrain — наша компактная языковая модель, которую мы обучили на 15 трлн токенов и чьи параметры мы впервые выложили в опенсорс: веса Alice AI-T5-35B-A0.6B Base уже доступны на Hugging Face. Под капотом у неё гибридная архитектура Encoder-Decoder + MoE.

🔳 На Хабре мы разобрали весь пайплайн обучения — от отбора контекста до RLHF на пользовательских сигналах:

⚪️ Как BERT-подобный экстрактор на 80 млн параметров через Cross-Entropy RL сократил число входных токенов и поднял пропускную способность на 40% без потери качества

⚪️ Почему пришлось перейти с aux-based-балансировки на aux-free-роутинг из DeepSeek-V3, когда на масштабе начал коллапсировать роутинг в энкодере

⚪️ Как переход на online RL с GSPO поверх кастомного VeRL-роллаута ускорил цикл эксперимента и поднял winrate новой модели выше 70%

⚪️ Как реворд-модель на онлайн-сигналах пользователей повлияла на число сессий на пользователя

Подписывайтесь:
💬 @Yandex4ML
📹 @YandexML