И ещё один опенсорс-релиз от Яндекса - Alice AI Foundation 80B LLM.
AliceAI-Foundation-80B-A3B-Base – базовая языковая модель с гибридной архитектурой и MoE-слоями. Модель содержит 80 млрд параметров, из которых для каждого токена активируются 3 млрд, и поддерживает контекст длиной до 262 144 токенов. Модель была обучена полностью с нуля.
При создании модели мы заново собрали обучающий корпус, выбрали архитектуру и гиперпараметры, а также подготовили данные для сложных рассуждений и взаимодействия с инструментами.
Пост авторов: https://t.me/MLunderhood/427
HF: https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base
Техрепорт: https://habr.com/ru/companies/yandex/articles/1083300/
Лицензия - Апач 2.0.
Post #254
475
Научный опенсорс 1) Как уже обсудили в чате, Яндекс выкатил Alice AI‑T5-35B‑A0.6B. Модель обучена с нуля, в онлайн-эксперименте винрейт 56% против Google AI Overview.
- 🔥 7
- ❤ 2