🤖 «Яндекс» представил новую фундаментальную ИИ-модель

21 сентября компания представила Alice AI Foundation - третье поколение большой языковой модели, созданное полностью с нуля.

Аналитики АНО «РТИИ» изучили новую модель и рассказали об её архитектуре, возможностях и особенностях

Что удалось установить:

• 80 млрд параметров, из которых 3 млрд активируются при обработке каждого токена;
• 18 трлн токенов использовано при обучении;
• контекст до 262 144 токенов;
• архитектура MoE - 512 экспертов;
• 48 слоёв;
• поддержка русского и английского языков;
• открытые веса;
• лицензия Apache 2.0.

Модель обучена полностью с нуля. «Яндекс» сообщает, что при её создании не использовались веса сторонних open-source моделей. Основной акцент сделан в том числе на русскоязычных фактических знаниях и веб-корпусе.

Alice AI Foundation - это не готовый чат-бот, а Base-модель для дальнейшего дообучения.

Чтобы превратить её в полноценного пользовательского ассистента или использовать в агентских сценариях, потребуется дополнительное обучение.

Контекст до 262 тысяч токенов. Это позволяет работать с большими документами и длинными историями взаимодействия.

Открытые веса и лицензия Apache 2.0 позволяют использовать модель в исследовательских и коммерческих проектах с соблюдением условий лицензии. Поддерживаются стандартные инструменты для работы с моделями, включая Transformers, vLLM и SGLang.

При этом для локального запуска потребуется мощная инфраструктура: в официальном примере через vLLM используется четыре GPU по 80 ГБ.

💙 АНО РТИИ в MAX