Запускаем Kimi K3 на машине, которая ещё вчера задыхалась от Chrome

Авторы kimi-k3-in-c переписали движок Kimi K3 на C99: 176 КБ кода запускают модель в 2,78 трлн параметров. Полные весы — 1,56 ТБ, но в память помещается только активная часть.

Секрет в архитектуре «смешение экспертов»: 1,45 ТБ дополнительных блоков читаются с диска в 4-битном виде по требованию. Система не тащит всю библиотеку, а идёт в архив за конкретной папкой.

Скорость честная: ноутбук с ~8 ГБ RAM выдаёт 8 токенов за 261 секунду, сервер на 128 ГБ: 28 токенов за 299 секунд. Результат совпадает до байта.

Код и инструкции бесплатны. При 8 ГБ RAM и терпении 2,78 трлн параметров запускаются у вас на коленке.