🔧 FreeToken

Edge-native рушій для запуску MoE-моделей на рівні датацентру — безпосередньо на домашньому ПК. Дозволяє запускати флагманські відкриті моделі на 290B+ параметрів на звичайній ігровій відеокарті з інтерактивною швидкістю.

Ключові можливості:
• Bandwidth-adaptive CPU–GPU co-execution та глобальне LRU-кешування експертів
• Семантичне кешування KV та стану для уникнення повторних обчислень контексту
• Динамічний перерозподіл VRAM між кешем експертів і KV без перезапуску
• Підтримка DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2 та API, сумісних з Anthropic/OpenAI
• Нативна підтримка NVIDIA RTX 30/40/50 на споживчому обладнанні

⚡️ Технології: Python, MoE, inference, transformer
⭐️ Зірок: 14.1k
🍴 Форків: 1406

FreeToken

#ai #ml #python #tools #selfhosted

Git 🇺🇦 | Git 🇺🇦 Database