DwarfStar 4: запуск нейросетей локально

Вышел DwarfStar 4 — инструмент для запуска мощных языковых моделей прямо на вашем железе. Проект поддерживает DeepSeek V4.1, Qwen и GLM.

Для комфортной работы базовым уровнем считается V4 Flash в квантовании Q2. Если у вас 128 ГБ оперативной памяти, можно запустить GLM 5.3 (Q2) или Qwen (Q4). Модель V4.1 Q2 при нехватке памяти успешно стримится с SSD.

На системе с M5 MAX и 128 ГБ ОЗУ при контексте 32K показатели впечатляют:
• Генерация: 34.4 токена в секунду.
• Префилл: 557 токенов в секунду.

Для начала работы достаточно выполнить команду загрузки модели и сборку проекта.

рекомендуем:
@NBCRussia