Strata: 125B-модель на домашней видеокарте с 8 ГБ

На GitHub выложили Strata — движок для запуска MoE-модели Qwen3.8-Flash-Next на игровом ПК. Эксперты живут в оперативной памяти, остальное на видеокарте, вторая часть весов — на SSD.

Автор заявляет 90 токенов в секунду на RTX 5070 и Ryzen 5 7600. Локальный сервер отдаёт API в формате OpenAI и Anthropic, так что клиенты менять не придётся.

Подвох в требованиях: нужно 64 ГБ оперативки и сильное сжатие весов вплоть до IQ1_M. Ни модели, ни бенчмарков независимо никто не проверял — сначала прогони свои задачи.

🔗 Подробнее

@nuancesprog #AI #Linux