Вернувшись с ICML, с головой закопался в новый апдейт SWE-rebench и лидерборда! 🛠️
Этот релиз мы сделали масштабнее, он мультиязычный. Собрал 111 задач на 5 языках, сделал кучу прогонов и зарылся в траектории агентов, чтобы отловить, как именно модели читерят и обманывают эвалы.
Всю более подробную аналитику собрал в большой блогпост.
📊 Статья с разбором: https://teletype.in/@ibragim_bad/swe-rebench-2026-07
🏆 Лидерборд: https://swe-rebench.com/
Post #105
11K