«Открытая модель» наконец означает не только открытые веса

3 сентября институт IFM из Абу-Даби представил K2 Horizon — семейство из шести моделей размером от 0,9 до 375 млрд параметров.

Институт обещает открыть весь путь обучения: исходный код, данные или рецепты их подготовки, конфигурации, журналы, промежуточные версии и результаты тестов. Это позволит не просто запустить готовую модель, а проследить, как у неё появляются рассуждение, работа с инструментами и агентные способности.

Крупнейшая версия имеет контекст 512 тысяч токенов и при общей ёмкости 375 млрд активирует только 23 млрд параметров на токен. Компактную модель предлагают запускать даже на часах и очках.

Финальные веса уже доступны под Apache 2.0. Но важная оговорка: на странице крупнейшей модели сказано, что часть кода, данных и промежуточных версий опубликуют позже. Посмотрим, станет ли «полностью открытая» модель полностью открытой на практике.

Ссылки:
🔘IFM
🔘модели на Hugging Face

#ai #opensource #llm #openmodels #uae

@data_engi