Запускаем модель на 1️⃣2️⃣5️⃣ МЛРД параметров на игровой видеокарте — со скиллом Strata для локального запуска Qwen3.8-Flash-Next достаточно всего 12 ГБ (!) памяти.

Так обычный комп, но с RTX 5070, по замерам разрабов будет выдавать:
🔅 94 токена в секунду с квантизацией Q2_0;
🔅 53 токена в секунду с IQ3_S.

Нюанс: Q2 сжимает веса и скорость стоит оценивать вместе с качеством ответов на своих задачах.

Есть поддержка Windows и Linux, а также локальный API, совместимый с OpenAI и Anthropic, для подключения приложений и агентов.

Забираем тулзу тут.

🙂 Не баг, а фича