Kimi-K3: новый масштаб открытых моделей

👋 Kimi-K3 — мультимодальная MoE-модель Moonshot AI с 2,8 трлн параметров, контекстом до 1 млн токенов и открытыми весами. Это первая открытая модель класса 3T — масштаб, который до сих пор оставался преимущественно за закрытыми системами.

🚀 Релиз уже стал заметным событием для сообщества: за первые дни преодолела отметку 8 тыс. лайков, а сейчас приближается к 10 тыс.

Что важно:
▪️ KDA + Gated MLA
69 слоёв используют компактное рекуррентное внимание KDA, а 24 слоя Gated MLA сохраняют глобальную работу с контекстом. Гибридная схема рассчитана на последовательности длиной до 1 млн токенов.

▪️ Attention Residuals
Модель не просто передаёт residual-состояние от слоя к слою, а выборочно извлекает представления из предыдущих уровней. Это помогает управлять потоком информации в сети глубиной 93 слоя.

▪️ Stable LatentMoE
Перед передачей экспертам активации сжимаются в латентное пространство вдвое меньшей размерности. В результате из 2,8 трлн параметров на токен активируется 104 млрд, а вычисления и коммуникации между экспертами остаются управляемыми.

📲 Подробнее о KDA, Attention Residuals, Stable LatentMoE и результатах модели — в слайдах.

➡️ Перейти на страницу Kimi-K3

➡️ Посмотреть другие модели в каталоге Immers Foundation Models

#ИИ_Модели #LLM