Открываем претрейн Alice AI Search: как устроена модель быстрых ответов Алисы на Поиске

Быстрый ответ Алисы AI должен за считаные секунды разобрать результаты Поиска и выдать лаконичный ответ даже в час пиковой нагрузки. Ради этого команде пришлось перебрать весь пайплайн, от отбора полезных фрагментов в найденных документах до архитектуры модели и обучения на поведении реальных пользователей.

Ребята из Alice AI Search рассказали про экстрактор инфоконтекстов, который поднял пропускную способность примерно на 40% без потери качества, про Encoder-Decoder-модель с разреженной MoE-архитектурой и про online-RL, где отдельная реворд-модель учится на том, хватило ли пользователю ответа или он продолжил поиск.

Претрейн Alice AI-T5-35B-A0.6B обучили с нуля на 15 трлн токенов собственного корпуса, а его дообученную версию используют в продакшне. Сам претрейн теперь в открытом доступе, инференс снаружи работает через Hugging Face Transformers.