TGViewer
commit history commit history @c0mmit · 4.3K subscribers
Post #88 16.5K
🎄 Релизим 67 074 траектории Qwen3-Coder с OpenHands + 2 RFT чекпоинта.

> Мы выкладываем: 67 000+ траекторий по 3 800 решенным задачам в 1 800+ Python репозиториях.

> Примерно в 3 раза больше успешных траекторий и в 1.5 раза больше репозиториев, чем в нашем прошлом датасете.

> Траектории длинные: в среднем 64 шага, до 100 шагов и контекст до 131k токенов.

> RFT на этих данных, SWE-bench Verified:
Qwen3-30B-Instruct: 25.7% → 50.3% Pass@1.
Qwen3-235B-Instruct: 46.2% → 61.7% Pass@1.
Также сильный рост на SWE-rebench September (цифры в блог посте)

> Мы сделали много эвалов.
прогнали OpenHands с лимитом 100 и 500 шагов.
Запускаем на SWE-bench Verified и сентябрьском SWE-rebench.

> Мы отдельно проверяем тесты, которые пишет модель.
Считаем, как часто тесты корректны.
Проверяем, как часто финальный патч модели проходит ее собственные тесты.
В итоге получаем пул данных в том числе для обучения верифаеров.

Полностью Permissive License
Датасет и модели: https://huggingface.co/collections/nebius/openhands-trajectories

Подробный блогпост: https://nebius.com/blog/posts/openhands-trajectories-with-qwen3-coder-480b

Пост в x: https://x.com/ibragim_bad/status/2003423706861936856

P.S. Прошу поддержать пост в x, если у вас есть аккаунт!
  • 🔥 27
  • 👍 13
  • ❤‍🔥 7
  • ❤ 1
  • 🆒 1
More from @c0mmit
  1. Jul 28, 2026Вернувшись с ICML, с головой закопался в новый апдейт SWE-rebench и лидерборда! 🛠️ Этот р…
  2. Jul 4, 2026Приехал в Сеул на ICML (одна из трех топ ai конференций) с SWE-rebench-v2, который прошёл…
  3. Jul 1, 2026За последний месяц сделали несколько апдейтов SWE-rebench Leaderboard: https://swe-rebench…
  4. Jun 17, 2026В начале апреля я выступал на AI Engineer Europe – и на днях вышло видео моего доклада! им…
  5. May 14, 2026Когда-то в университетские годы мы много организовывали мероприятия с минимальным бюджетом…
  6. Apr 28, 2026Буду в Казани, решил сделать небольшое выступление + встречу подписчиков. Поговорим про ко…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →