🙂 В октябре Алиса AI стала умнее за счёт нового семейства моделей Alice AI. Сегодня разработчики Яндекса выложили на Хабр подробный рассказ о том, как создавали эти модели и как они соотносятся с предыдущим поколением и конкурентами.

Открываем серию постов про эти модели и рассказываем про первую модель из семейства — Alice AI LLM. Она прошла полный цикл обучения на данных и инфраструктуре Яндекса: от претрейна до финального дообучения для решения реальных задач пользователей. А ещё Alice AI LLM — первая нейросеть Яндекса на базе архитектуры MoE — Mixture of Experts (группа экспертов). Рассказываем, что это такое и как это помогает делать нейросети эффективнее.

Как работает MoE?

Когда обычная LLM получает запрос пользователя, она использует всю свою мощь для генерации ответа. MoE-нейросети работают оптимальнее: активируют только те части модели, которые лучше всего подходят для решения текущей задачи. Эти части называют экспертами, а за их выбор отвечает роутер — небольшая нейросеть, которая выбирает, кто из экспертов лучше справится с генерацией следующего токена.

Зачем это нужно?

🟣 Чтобы сделать нейросеть в разы быстрее, сохранив качество ответов

🟣 Или сделать её в разы больше и умнее, не замедляя работу

Подписывайтесь 👉 @techno_yandex