Что это. Qwen3.8-Flash-Next — большая языковая модель на 125 млрд параметров со смесью экспертов (MoE): на каждый токен активна только часть параметров, поэтому вычисления дешевле. Теперь появились FP4-кванты — веса сжимаются до 4 бит с плавающей точкой. NVIDIA выложила FP4-квант, а проект capy-flash показал запуск в полном формате NVFP4 на двух потребительских GPU по 16 ГБ.
Зачем. Раньше модель такого масштаба требовала серверных ускорителей или облачных API. Это значило затраты, задержки сети и потерю контроля над данными. Квантизация до 4 бит решает проблему памяти: 125B-модель умещается в суммарные 32 ГБ VRAM двух карт, а не в несколько A100/H100.
Выгода. Локальные разработчики получают доступ к большой MoE-модели на потребительском железе, а не арендуют облако. Это полезно для приватного инференса, агентов, обработки чувствительных данных и экспериментов без оплаты за токены. Потенциально вес модели сжимается в 4 раза по сравнению с 16-битным представлением.
Кому. Тем, кто поднимает модели через llama.cpp/vLLM, privacy-sensitive командам и исследователям MoE-архитектур.
Оговорка. Full NVFP4 может требовать свежих драйверов и совместимых GPU; на старых картах может не заработать. Независимых бенчмарков качества пока нет, а FP4 — агрессивная квантизация: на сложных многошаговых задачах возможна деградация.
Источники: r/LocalLLaMA — NVIDIA FP4-квант, capy-flash.
━━━━━━━━━━━━━
📎 Источники:
• FP4 QAD quant of Qwen3.8-Flash-Next from Nvidia
• capy-flash: Qwen3.8-Flash-Next (125B MoE) in full NVFP4 on two 16 GB consumer GPUs