В опенсорсе модель с 1T параметров! Для тех, у кого лишние DGX простаивают, видимо :)
https://github.com/MoonshotAI/Kimi-K2
Обучена оптимизатором muon (https://t.me/gonzo_ML/3591), кстати.
Post #3821
6.16K
GO gonzo-обзоры ML статей @gonzo_ml · 24.6K subscribers