TGViewer
AI[ex]Time AI[ex]Time @aiextime · 2.83K subscribers
Post #191 1.62K
Какое-то время назад открыл для себя, насколько CISPO робастнее к выбору гиперпараметров по сравнению с DAPO и насколько он по дефолту работает лучше в async режиме. На async в 64 шага дефолтный DAPO деградирует безумно сильно, да и на 16 уже заметно

Для Qwen3 30B MoE картина та же, только коллапс в async происходит еще раньше из-за проблем с разным роутингом экспертов
  • ❤ 6
  • 👏 1
More from @aiextime
  1. Aug 25, 2026Еще немного интересных наблюдений из RL для MoE. В нем есть одна проблема, которая делает…
  2. Jun 29, 2026На следующей неделе я буду на ICML, в том числе презентовать с командой постеры по несколь…
  3. Jun 11, 2026Только успели выкатить мини-релиз SWE-rebench с Gemini 3.5 Flash, MiniMax M3 и Junie (тепе…
  4. May 29, 2026По горячим следам добавили Opus 4.8 xhigh, картина теперь такая
  5. May 28, 2026SWE-rebench давно не обновлялся. Все потому, что каждый месяц прогонять новые модели, да е…
  6. May 28, 2026photo post
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →