Kimi K2.6 стал доступнее

Модель на 1 триллион параметров ужали до 340 ГБ через Dynamic GGUF. Ключевые слои оставили в более высокой точности, остальное оптимизировали.

В итоге получился компромисс, который реально работает.
Больше не нужен только кластер на сотни GPU.

Сейчас это выглядит так.
• Запуск на CPU, GPU и даже SSD-сетапах.
• Скорость больше 40 токенов в секунду на конфигурациях с ~350 ГБ RAM или VRAM.


По сути, это один из первых кейсов, когда модель такого масштаба становится доступной вне датацентров.

Если тренд продолжится, граница между локальными и облачными моделями начнёт быстро стираться.

Гайд: https://unsloth.ai/docs/models/kimi-k2.6
GGUF: https://huggingface.co/unsloth/Kimi-K2.6-GGUF