Kolibri Has Landed: A Sovereign Open-Weight Model

Aleph Alpha открыла веса Kolibri — европейской MoE-модели с упором на промышленность и локальное развёртывание.

Kolibri содержит 78,1 млрд параметров, но активирует только 3,46 млрд на токен, обучена на 20 трлн токенов и поддерживает немецкий и английский языки; веса опубликованы под Apache 2.0. Контекст был обучен до 262 тыс. токенов, при инференсе поддерживается до 1 млн, предусмотрены четыре уровня reasoning и tool calling. Для инженерных компаний особенно интересна комбинация длинного контекста, локального размещения и специализации Aleph Alpha на автомобильной, полупроводниковой, промышленной и аэрокосмической предметных областях.

https://aleph-alpha.com/en/blog/kolibri-has-landed-a-sovereign-open-weight-model