Cursor обновил BugBot: как автоматический code review стал в 2,5 раза эффективнее 🤔

Знаете, как это бывает: создаёшь инструмент, думаешь, что он будет решать все проблемы, а он — ну такой себе. Вроде работает, но не идеально. Так вот, недавно Cursor прокачал своего BugBot — агента для автоматического code review. И теперь это уже не просто игрушка, а реально полезный инструмент.

Когда BugBot только появился, было сложно сказать, что его польза настолько велика. Однако после нескольких месяцев улучшений и доработок, мы видим не просто маленький рост, а настоящий скачок. Вот вам цифры:

• Resolution rate (уровень разрешённых багов) вырос с 52% до 70%. Это уже звучит серьёзно
• Среднее количество багов, которые ловит Bot за один запуск, увеличилось с 0,4 до 0,7
• А самое главное, доля разрешённых багов на PR (pull request) возросла с 0,2 до 0,5 — то есть, BugBot стал в 2,5 раза эффективнее!

Как они этого добились? 😡

Да, не просто так. Чтобы достичь такого результата, команде Cursor пришлось провести аж 40 итераций экспериментов. Посмотрите на график их работы — там прямо видно, как всё постепенно улучшалось.

Раньше BugBot анализировал PR одним способом, а теперь он прогоняет его через несколько представлений diff’а. Что это значит? Он анализирует код по-разному — с обычным контекстом, с расширенным, с учётом изменений, и даже разбивает код на слова. После этого Bot склеивает все результаты в одну картину. И это работает. Похоже на супер-агент с несколькими «глазами» для проверки.

Так что теперь можно с уверенностью сказать, что BugBot от Cursor — это полноценный инструмент, который уже решает реальные задачи.

Data Science