Moonshot AI выпустила Kimi K3 на Hugging Face:

Это первая модель с открытыми весами в классе ~3T. Благодаря MoE на каждый токен активируются лишь 104B параметров (16 экспертов из 896).

По заявлению разработчиков, K3 создана для длинных агентных задач: работы с большими репозиториями, использования терминала, исследований, оптимизации GPU-ядер, компиляторов и других многошаговых инженерных сценариев.

Что внутри:
- контекст 1 048 576 токенов
- нативная мультимодальность (для текста и изображений и видео)
- 93 слоя: 69 KDA + 24 Gated MLA
- веса MXFP4 + активации MXFP8
- заявлено ~2,5× более эффективное масштабирование по сравнению с Kimi K2.

Веса модели:
https://huggingface.co/moonshotai/Kimi-K3

Техрепорт:
https://github.com/MoonshotAI/Kimi-K3/blob/main/k3_tech_report.pdf

Но в плане открытости есть нюанс - веса выложены под лицензией Kimi K3 License, ограничивающей коммерческое использование после определенного порога выручки.