Aleph Alpha выложила в открытый доступ модель Kolibri на 78 млрд параметров

Немецкая Aleph Alpha выпустила открытую модель Kolibri. Это англо-немецкий трансформер Mixture-of-Experts на 78,1 млрд параметров, из которых на каждый токен активны лишь 3,46 млрд. Веса уже лежат на Hugging Face под лицензией Apache 2.0, так что запускать модель можно на своих серверах, не отправляя данные наружу.

Контекст доходит до 1 млн токенов: во время адаптации модель тренировали до 256 тыс., но в настройках подачи можно выставить 1 048 576. Обучали её на 768 GPU B200 – 20 трлн токенов за 21 день, а вместе с дообучением и длинноконтекстной адаптацией вышло около 24 трлн.

В архитектуре 384 эксперта и шесть активных на токен, полное внимание стоит в 10 слоях из 50, в остальных 40 работает скользящее окно на 512 токенов. Немецкий занял 21,3% токенов предобучения, словарь двуязычный на 128 тыс. записей, а перевод применили только в 6% случаев. Есть четыре режима рассуждений (none/low/medium/high) и вызов инструментов.

Замеры вендора выглядят так: AIME 2025 – 96,9, GPQA diamond – 84,3, LiveCodeBench v6 – 85,9, HumanEval+ – 92,7. По английскому итог 75,5, по немецкому 70,8, и в Aleph Alpha утверждают, что это уровень моделей с вчетверо большим числом активных параметров.

Отдельно модель учили отказываться от ответа, когда его нет в контексте, через протокол Merlin-Arthur с обучением на примерах воздержания. На наборе AA-Omniscience она не дала неверный ответ в 44% случаев против 14,8% у предыдущей Kolibri Origin. Сама Kolibri сделана в Германии и обучена на инфраструктуре Германии и Финляндии, а целится в госсектор и регулируемые отрасли.

Предыдущая Kolibri Origin (30 млрд всего, 3 млрд активных, контекст 65 тыс.) вышла тремя месяцами раньше. Запуск идёт через пакет aleph-alpha-inference с плагином vLLM для Kolibri, детали – в блоге Aleph Alpha.

━━━━━━━━━━━━━━━━━━━━
📢 AI❤️4Life — канал об искусственном интеллекте
🤖 SyntxAI — все самые нужные нейросети в одном сервисе
🔒 MaxVpn — Удобный и быстрый VPN
🧠 Google AI Pro — подписка на личный Google-аккаунт на 18 месяцев за 990₽
━━━━━━━━━━━━━━━━━━━━
👑 Авторский курс по созданию персональных ИИ-агентов

#AI #LLM #OpenSource #AlephAlpha #Kolibri