Слышали про релиз модели Kimi K3? Хочу накинуть несколько полезных фактов про железо под эту модель
Главная особенность релиза в том, что Kimi K3 — это самый большой (2.8T параметров) Open Souce, который по бенч-маркам в одной лиге с Fable 5, GPT-5.6 Sol, Opus 4.8 и стабильно обгоняет тот же GPT-5.5.
Т.е. эту модельку можно развернуть на своем железе в своем контуре и это будет полноценный frontier-уровень, будет круто и безопасно.
Но чтобы запустить это чудо в своем контуре — надо около 1.5+ терабайт VRAM. Таких видео-карт в природе не существует и тут нужен целый их кластер, при чем очень хороших и много. Для понимания: у самой топовой потребительской видеокарты RTX 5090 — всего 32 ГБ VRAM, а у топой серверной B300 - 288 ГБ VRAM.
В общем, я задался вопросом — можно ли вообще найти у РФ-провайдеров подходящие конфигурации в аренду и сколько будет стоить. Нашел готовые серверы HGX™ B300 у Selectel — абсолютно топовый сервер, которого уверенно хватит на инференс Kimi K3.
Я посчитал, если этот сервер использовать под кодинг-агентов, то он стабильно будет держать и обслуживать примерно 10-12 кодиговых сессий (людям будет работать комфортно). 13-30 кодинговых сессий будут уже заметно тормозить, но какая-то вменяемая скорость разработки еще будет сохраняться. После 30 - думаю, что работать станет невозможно.
А теперь цена. Аренда такого сервера, если верить калькулятору Селектела будет стоить ~8 млн/месяц. Если покупать, то ~110 млн разово + 3-5млн опекса ежегодно.
Такой вот «доступный Open Source» :)
Post #353
258