Или история релиза Kimi K3 с открытыми весами, а также их системной карты. Сегодня с этим разберемся.
Начну я с термина, позвольте побыть англоговорящим: System Card *сказано с акцентом*. Для OpenAI и Anthropic это большой-большой документ включающий в себя кучу всего.
- Как модель тестировали
- Какие риски в ней обнаружены
- Описание обучения
- Ну и так далее
Но у Kimi свой путь, а для Kimi K3 он явно третий. Потому что наименования System Card у них нет. А полный отчет есть, здесь выложены открытые веса (опенсурс моделька) и системные инструкции.
Зачем тебе эта информация?
Ну, например, ты можешь узнать, что смена модели в одном чате негативно влияет на работу. Или то, что Kimi K3 всегда склонен делать работу на свое усмотрение, если она спорная.
И ему надо прописывать правило типо "всегда все согласуй со мной". Чтобы избегать кривотолков и недопонимания.
У прочих моделей тоже выходят подобные подборки, можете поковыряться в этом репозитории или вот этом. А я подгрузил в свой mcp для агентов инфу как с таким работать.
С этого можно вытащить самые эффективные и оптимальные пути постановки задач, реагирования на галлюцинации, убеждения в обходе цензуры и так далее.
А что на счет опенсурса?!
Возрадуйся, зай. Тебе достаточно поебывать дочку миллиардера aka олигарха для запуска 2.8T-параметной Kimi K3 весом в 1 ТБ с хвостиком.
Потому что тебе всего-то нужна конфигурация типо восьми видео карт RTX PRO 6000 Blackwell на 768 ГБ VRAM.
То есть нам понадобится арендованное серверное оборудование, по бабкам 20-70 долларов в час. Закладывайте загрузку и настройку.
На момент публикации поста любые урезанные версии модели все равно требуют заложить твою почку и душу твоей матери.
А если ты хочешь чет полегче, типо 5090 или 6000 ADA может взять от ~0.40 до 1.1 доллара в час на Vast.ai.
Но почему я это освещаю?
Kimi K3 первая китайская моделька, которой сейчас можно пользоваться фулл тайм и для вайбкода. Вообще без заебов, она шикарна.
Тот факт, что в отличие от Claude и ChatGPT, она открытая означает, что как минимум мы зафиксировали высокий уровень вайбкода в опенсурсе.
Осталось завести алгоритмы оптимизации, чтобы работа таких моделей обходилась в 200-400 баксов в месяц на арендованном сервере.
Может до такого мы никогда и не дойдем, но промежуточные шаги к этой утопии очень и очень приятные.
p.s. докинул апдейт в мой mcp и фиксы в main ветку xrayebator, приятного аппетита.