Для тех, кто хочет залезть под капот Kimi K3: минимальная реализация архитектуры, сделанная специально для того, чтобы её можно было нормально прочитать, запустить на CPU или в Google Colab и сверять код с оригинальным техническим отчётом.
KDA, Gated MLA, Attention Residuals и Stable LatentMoE здесь сохранены, но некоторые части упрощены ради читаемости.
Post #3650
21.2K
