Запускаем модель с 125 МЛРД параметров на игровой видеокарте — благодаря Strata для локального запуска Qwen3.8-Flash-Next хватает всего 12 ГБ (!) памяти.

На обычном ПК с RTX 5070, по замерам разработчиков, это даст:

• 94 токена в секунду при квантизации Q2_0;
• 53 токена в секунду при IQ3_S.

Важно: Q2 уменьшает веса, поэтому скорость стоит оценивать вместе с качеством ответов на ваших задачах.

Есть поддержка Windows и Linux, а ещё локальный API, совместимый с OpenAI и Anthropic, чтобы подключать приложения и агентов.

Забираем тулзу тут.

INCUBE.AI | ПОДПИСАТЬСЯ