TGViewer
commit history commit history @c0mmit · 4.3K subscribers
Post #105 11K
Вернувшись с ICML, с головой закопался в новый апдейт SWE-rebench и лидерборда! 🛠️

Этот релиз мы сделали масштабнее, он мультиязычный. Собрал 111 задач на 5 языках, сделал кучу прогонов и зарылся в траектории агентов, чтобы отловить, как именно модели читерят и обманывают эвалы.

Всю более подробную аналитику собрал в большой блогпост.

📊 Статья с разбором: https://teletype.in/@ibragim_bad/swe-rebench-2026-07

🏆 Лидерборд: https://swe-rebench.com/
Teletype SWE-rebench Leaderboard: большое мультиязычное обновление В свежем релизе SWE-rebench мы собрали 111 задач на пяти популярных языках программирования, ужесточили фильтрацию и добавили аналитику...
  • 🔥 27
  • ❤‍🔥 7
  • 💩 4
  • 👍 1
More from @c0mmit
  1. Jul 4, 2026Приехал в Сеул на ICML (одна из трех топ ai конференций) с SWE-rebench-v2, который прошёл…
  2. Jul 1, 2026За последний месяц сделали несколько апдейтов SWE-rebench Leaderboard: https://swe-rebench…
  3. Jun 17, 2026В начале апреля я выступал на AI Engineer Europe – и на днях вышло видео моего доклада! им…
  4. May 14, 2026Когда-то в университетские годы мы много организовывали мероприятия с минимальным бюджетом…
  5. Apr 28, 2026Буду в Казани, решил сделать небольшое выступление + встречу подписчиков. Поговорим про ко…
  6. Apr 15, 2026Как я смонтировал видео с лекции прямо с телефона (и без ручного труда) Выложил видео с не…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →