🔧 kimi-k3-in-c

Інференс 2.78-трильйонної моделі Kimi K3 на одному CPU в 8 ГБ RAM. Портативний рушій на C99 без BLAS, без фреймворків і без GPU — той самий байт-у-байт результат на ноутбуці й на сервері, різниця лише у швидкості.

Ключові можливості:
• Стрімінг 1.56 ТБ чекпоінту з диска, резидентна пам'ять лише 8.24 ГБ
• 4-бітні MoE-експерти обчислюються прямо з пакованого вигляду, без розпакування
• KDA-увага з пам'яттю, що не зростає, та MLA замість 96 голів
• LRU-кеш експертів і потоковий транк для гнучкого балансу пам'яті й швидкості

⚡️ Технології: C, inference-engine, quantization, mixture-of-experts
⭐️ Зірок: 8.5k
🍴 Форків: 1361
🛠 Платформа: Linux x86-64

kimi-k3-in-c

#ai #ml #linux #tools

Git 🇺🇦 | Git 🇺🇦 Database