TGViewer
КПД КПД @quant_prune_distill · 3.49K subscribers
Post #715 12.1K
Пока все обсуждают новую Гемини Флэш, NVIDIA тихонько выкатили серию гибридных авторегрессионно-диффузионных моделей Nemotron-Labs-Diffusion.

В коллекции 6 чисто языковых моделей - 3B, 8B, 14B LM-ки с алайнментом и их базовые модели, и еще 8B диффузионная VLM.

Модели имеют 3 режима работы:
🤓 Авторегрессионную генерацию
🚀 Диффузионную генерацию
🧙‍♂️ Спекулятивную генерацию с набрасыванием чернового варианта диффузией и AR самопроверкой

По качеству оно типа немного лучше Qwen-3-8B, но по скорости в самоспекулятивном режиме обходит Qwen3-8B-Eagle3 в 3 раза. Правда, вышел уже Qwen 3.5 (если говорить о моделях в той же весовой) ...

[Техрепорт]
  • 🔥 12
  • ❤ 3
More from @quant_prune_distill
  1. Oct 6, 2026Совпадение? Не думаю!
  2. Oct 5, 2026Теперь уже даже время прочтения блога это ориентир не для человека, а для LLMки. https://r…
  3. Oct 4, 2026"Горячие" эксперты
  4. Oct 4, 2026photo post
  5. Oct 1, 2026🛠 Метод Типичный scaling law имеет вид: L(N, D) = A N^α + B D^β + c 🔄 Скейлинг по рекурс…
  6. Oct 1, 2026Scaling Laws for Looped Mixture of Experts 📄 Статья Есть MoE, которые как-то скейлятся (п…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →