⚡️ Яндекс показал устройство ИИ-ответов в Поиске

Яндекс впервые раскрыл архитектуру быстрых ответов Алисы и выложил на Hugging Face базовую модель Alice AI Search. Ее дообученная версия работает в Поиске с июня. В модели 35 млрд параметров, но при обработке одного токена задействуется около 600 млн — меньше 2%. Так работает разреженная MoE-архитектура: при обработке каждого токена подключается только часть блоков модели.

📄 Яндекс также сократил объем текста, который получает модель. Отдельный экстрактор на 80 млн параметров выбирает в найденных документах фрагменты, полезные для конкретного запроса. По оценке Яндекса, более короткий контекст увеличил пропускную способность системы примерно на 40% без потери качества.

Эти решения помогают быстрее обрабатывать запросы и снижают вычислительную нагрузку. Для Поиска с аудиторией в десятки миллионов человек от этого зависит, сколько ответов система сможет сформировать одновременно и как долго пользователь будет их ждать.

📖 В открытый доступ вышла базовая модель. Дообученная версия из Поиска и оптимизированная система ее запуска остаются внутри Яндекса. Поэтому разработчики смогут изучать архитектуру и запускать модель через Hugging Face, но готовую систему быстрых ответов компания не публикует.