⚡️ KTransformers - open-source фреймворк из Китая, который позволяет запускать огромные модели на обычном потребительском железе.

Самый показательный пример - DeepSeek-R1 на 671 млрд параметров можно запустить с RTX 4090 на 24 ГБ, используя гибридную схему CPU+GPU вместо полноценного H100-кластера.

Что заявляют разработчики:

- до 28× быстрее инференс в отдельных сценариях
- дообучение DeepSeek-V3 на 4 потребительских GPU
- поддержка Kimi-K2, GLM-5 и MiniMax
- без облака и собственного дата-центра
- полностью open source

Проект сильно снижает порог входа для локального запуска очень крупных MoE-моделей.

https://github.com/kvcache-ai/ktransformers