TGViewer
AI[ex]Time AI[ex]Time @aiextime · 2.83K subscribers
Post #189 2.41K
Только успели выкатить мини-релиз SWE-rebench с Gemini 3.5 Flash, MiniMax M3 и Junie (теперь на Opus 4.8 high, кстати, топ1 model-harness результат этого цикла: 61.6% resolved / 72.7% pass@5), как сразу прилетел Fable

Решил написать небольшой обзор планов на ближайшие релизы лидерборда:
– Поэвалили Opus 4.8 в разных reasoning efforts: от low до ultracode с dynamic workflows. Скоро расскажем про трейдоффы качество/цена + какие-то интересные наблюдения из траекторий
– Точно будет релиз для любителей локальных моделей: квены, геммы, gpt-oss разных размеров. Если есть популярные модели, которые гоняются на мелком железе и которые было бы интересно посравнивать, пишите, подумаем над тем, чтобы поэвалить тоже
– Ну и Fable, разумеется 💀

P.S. Если вдруг знаете кого-нибудь из антропик, кто мог бы помочь с кредитами, напишите плиз в DM @alex_golubev13 😳
  • ❤ 14
  • 🔥 3
  • 🥰 1
More from @aiextime
  1. Aug 25, 2026Еще немного интересных наблюдений из RL для MoE. В нем есть одна проблема, которая делает…
  2. Jul 27, 2026Какое-то время назад открыл для себя, насколько CISPO робастнее к выбору гиперпараметров п…
  3. Jun 29, 2026На следующей неделе я буду на ICML, в том числе презентовать с командой постеры по несколь…
  4. May 29, 2026По горячим следам добавили Opus 4.8 xhigh, картина теперь такая
  5. May 28, 2026SWE-rebench давно не обновлялся. Все потому, что каждый месяц прогонять новые модели, да е…
  6. May 28, 2026photo post
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →