AI делает опытных разработчиков менее продуктивными

Рисерчеры с довольно серьезным послужным списком попробовали сравнить, насколько ощущение продуктивности при работе с AI отличается от реальности. Для этого они взяли очень опытных программистов, посадили их работать в знакомых им репозиториях, и слепым методом кому-то выдали в помощь Cursor, а кому-то пользоваться им запретили.

Так вот, те, кто использовал Cursor, почувствовали себя заметно более продуктивными, в среднем называя оценку где-то в 20%. При этом в реальности они, наоборот, получили результат на 20% медленнее, чем группа без AI.

Объясняют эту разницу следующими факторами:

👉Разработчики слишком оптимистично подходят к оценке полезности AI – быстрый выброс дофамина, и вот это все.
👉Хорошо знакомым с кодовой базой и решаемыми задачами разработчикам AI скорее мешал – качество его результатов все еще не очень высокое, в больших кодовых базах работает не очень хорошо, и многие важные неявные знания сами по себе в контекст не попадали.

При этом не стоит прямо сейчас бежать и запрещать Cursor. Как и другие рисерчи, к этому надо относиться скорее как к интересному наблюдению – по крайней мере, пока не появится мета-исследований по теме:

👉Выборка всего 16 человек, при этом они не то, чтобы были репрезентативны именно вашему кейсу.
👉Рисерч скорее показывает проблемы в том, КАК люди используют AI, чем недостатки в самой технологии. Вот тут, кстати, очень интересный твиттер-тред от одного из участников исследования, где он говорит про похожий эффект – вместо того, чтобы относиться к Cursor как к инструменту с определенной областью применимости, на него полагаются как на универсальный молоток и волшебное решение любых проблем.