colibri

Это инструмент, позволяющий запускать модель GLM-5.2 с 744 миллиардами параметров на потребительском компьютере с 25 ГБ оперативной памяти.

Программа написана на чистом языке C и не требует дополнительных зависимостей.

Она использует технологию Mixture of Experts (MoE), где эксперты загружаются с диска по мере необходимости, что снижает требования к оперативной памяти.

Lang: C
https://github.com/JustVugg/colibri
================
👁 Если у вас плохо прогружаются файлы, всё также доступно в канале в MAX:
👁 News | 👁 Soft | 👁 Hacker