💻Яндекс выложил в опенсорс свою новую ИИ-модель, обученную с нуля.

Яндекс выложил в опенсорс Alice AI Foundation LLM — претрейн-версию своей новой большой языковой модели, обученной полностью с нуля. Модель показывает высокие результаты в программировании и способности к рассуждениям, а по качеству ответов на русском языке превосходит многие мировые аналоги — особенно в задачах на знание фактов, интересных русскоязычной аудитории.

Она обгоняет в том числе более крупные опенсорс-модели, не требуя при этом больших вычислительных мощностей для инференса. Разработчики могут использовать её как в исследовательских, так и в коммерческих проектах благодаря свободной лицензии Apache 2.0.

Новая модель — это экспериментальная версия, на которой Яндекс тестирует архитектурные решения для своей будущей единой рассуждающей модели (ЕРМ). Рассуждающая модель ляжет в основу агентных возможностей Алисы AI, благодаря которым пользователи смогут поручать ей выполнение конкретных действий.

Alice AI Foundation LLM работает на архитектуре MoE (Mixture of Experts) и включает 80 миллиардов параметров, из которых в моменте активны только 3 миллиарда — это обеспечивает исключительную скорость и экономичность её работы.

В модель заложены способности к рассуждению и работе в агентных сценариях. За счёт этого она показывает высокую эффективность в сложных логических заданиях и программировании.

Для оценки знаний модели, актуальных для русскоязычных пользователей, Яндекс разработал два собственных бенчмарка — WikiWebFacts и HardMultiQA. Первый состоит из пар «короткий вопрос — короткий ответ» и проверяет знание дат, определений, событий и персоналий на основе материалов онлайн-энциклопедий и частотных агрегированных поисковых запросов.

Второй, HardMultiQA, построен на основе анонимизированного потока запросов к Алисе AI и охватывает более редкие области знаний: от медицины и права до IT и искусства.