TGViewer
EdTech, AI и HighLoad | Блог AK из Школково EdTech, AI и HighLoad | Блог AK из Школково @ak_segfault · 2.85K subscribers
Post #364 1.23K
EdTech, AI и HighLoad | Блог AK из Школково Оп-паа. Что это тут у нас? Qwen/Qwen3.8-Flash-Next 125B A6B, 512 экспертов(10 routed + 1 shared) на 640d Гибридный аттеншен: GDN + QSA (QwenSparseAttention) - 12 слоев в 3:1 N-gram Embedding И если посмотреть, это прям во многом похоже на мой незавершенный…
🤷‍♂️ Qwen3.8-Flash-Next не оправдал мои надежды.

Есть у нас вымученный датасет с 89 тасками для агента.
Qwen3.8-27B по качеству сильно опережает Qwen3.8-Flash-Next.
Скорость по tok/s у Flash-Next похожа на 27B-NVFP4.
Тулзов вызывает сильно больше, но даже не смотря на это с задачей справляется хуже, хоть и завершает её быстрее.
Ну и понятное дело, в силу размера модели и новизны архитектуры - тюнить его я даже и не пробовал пока что.

В целом, по трейсам сложилось впечатление, что реальный пре-трейн у модели крайне слабый, как и пост-трейн - примерно на уровне qwen3.5. Видимо в превью как всегда сделали упор на бенчмарках, а не реальных задачах.
Русские знания о мире по моим опять таки ощущениям слабее, чем в qwen3.8-27b. То есть total params + ngram здесь как будто бы ничего не дали.

Возможно в ваших сценариях эта модель и проявит себя лучше.

Тесты проводились на 2 серверах с 4x RTX Pro 6000.
Flash-Next запускался с TP=4 EP=4
Остальные модели PP=4
  • ❤ 13
  • 🔥 10
  • 👀 6
More from @ak_segfault
  1. Sep 26, 2026Обещал рассказать про обучение LLM с нуля. Итак, что же я делаю. Обучаю с нуля свою языков…
  2. Sep 24, 2026😋Очередной AI-хайп — на этот раз вокруг Jev от TypeSafe AI. И судя по некоторым постам, ч…
  3. Aug 28, 2026На злобу дня, так сказать. Кто-то может не знает, но я не только языковыми моделями занима…
  4. Aug 26, 2026🔥Как зарабатывать 5 миллионов в месяц на IT и быть счастливым? Вышел мой подкаст с генера…
  5. Aug 26, 2026Оп-паа. Что это тут у нас? Qwen/Qwen3.8-Flash-Next 125B A6B, 512 экспертов(10 routed + 1 s…
  6. Aug 14, 2026Кстати, Qwen3.8-27B не просто хороший релиз, но и показатель, куда движется опенсорс. Это…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →