Вышли веса Kimi K3

2.8 триллиона параметров, 104B активных.

По запуску на своем железе картина такая: в 4-bit веса будут занимать примерно 1.4ТБ, в 16-bit уже около 5.6ТБ. Так что вам нужно плюс минус 8xH200/B200 или сопоставимый по памяти вариант.

Если (ну вдруг) у вас такого домашнего датацентра не оказалось, то сочувствуем и приглашаем вместе с нами продолжать пользоваться API ☕️

https://huggingface.co/moonshotai/Kimi-K3