🔥 Модель на 125 млрд параметров на игровой видеокарте с 12 ГБ памяти.

Strata позволяет запускать Qwen3.8-Flash-Next локально на обычном ПК.

По замерам разработчиков, RTX 5070 выдаёт:

• 94 токена/с с квантизацией Q2_0.
• 53 токена/с с IQ3_S.

Есть нюанс: тестировали на компьютере с 64 ГБ оперативной памяти. Минимальные требования проекта начинаются с 32 ГБ, но доступные варианты модели зависят от объёма RAM.

И ещё: Q2 сильно сжимает веса, поэтому скорость стоит оценивать вместе с качеством ответов на своих задачах.

Поддерживаются Windows и Linux, есть локальный API, совместимый с OpenAI и Anthropic, для подключения приложений и агентов.

https://github.com/Niko1221/Strata