Яндекс открыл веса Alice AI Foundation LLM

Alice AI Foundation LLM представляет собой собственный MoE-претрейн Яндекса. Весь цикл обучения провели с нуля, без стартовых весов сторонних открытых моделей.

В модели 80B параметров, из которых на каждый токен активируются 3B. Это меньше, чем у большинства других открытых претрейнов, но по бенчам результаты в паритете, а иногда и лучше. При обучении отдельно оптимизировали обмен данными между видеокартами и отбор материалов, чтобы сократить вычисления при сохранении качества. В техрепорте есть комплиментарный замер с Nemotron и Qwen – с кодом и с математикой. Плюс к этому заявляют, что заложили базу для рассуждений ещё на претрейне.

Модель выпустили под Apache 2.0, её можно свободно использовать и дообучать. За пару дней у модели уже больше 2000 скачиваний на HF.

Техрепорт
Веса на HF

@ai_newz
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto

Другие каналы по темам:
🤖 AI @maltsevdaily
🧑‍🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym