Выпускник и преподаватель ШАДа Максим Абрахам — один из авторов новой открытой модели Яндекса

В открытом доступе опубликована новая базовая языковая модель — AliceAI-Foundation-80B-A3B-Base. Максим Абрахам руководит командой исследования архитектуры YandexGPT и приложил руку к архитектуре этой модели.

Ключевые особенности:
⏺️ 80 млрд параметров, но только 3 млрд активных на каждый запрос. В основе — архитектура Mixture of Experts, которая позволяет задействовать только необходимую часть модели.
⏺️ При меньшем числе активных параметров модель показывает сильные результаты на бенчмарках. В опубликованных замерах модель обходит более крупные открытые DeepSeek-V4-Flash-Base и Nemotron-3-Super-120B. На 3 из 4 замеров фактологических вопросов она превосходит и предыдущую Alice AI LLM 235B — при втрое меньшем общем и в семь раз меньшем активном числе параметров.
⏺️ Это pretrain-чекпойнт. Модель прошла базовое обучение, но не SFT/RL-дообучение для диалогов. Поэтому её можно использовать как основу для собственных решений и дообучать под конкретные задачи.

Вместе с моделью команда открыла два новых бенчмарка — WikiWebFacts и HardMultiQA, сфокусированных на знаниях, актуальных для русскоязычных пользователей.
Модель опубликована под лицензией Apache 2.0 — её можно использовать как для исследований, так и в коммерческих продуктах.

👈 Модель и бенчмарки доступны на Hugging Face, технический отчёт — на Хабре

Ваш ШАД 🎓

#наукашад