Разработчики работали на 19% медленнее с ИИ, чем без него, хотя сами они считали, что ускорились на 20%.

Некоммерческая организация METR провела исследование с участием опытных разработчиков, которые решали реальные задачи по программированию. Участники были разделены на две группы: одна группа использовала ИИ-инструменты, а другая работала без ИИ.
Задачи включали разнообразные сценарии из открытого ПО, чтобы отразить реальные условия работы. Время выполнения измерялось точно, а разработчики оценивали свою производительность субъективно.

По итогам исследования исследователи выделили три ключевых фактора:

1) Замедление вместо ускорения: Среднее время на задачу увеличилось на 19% при использовании ИИ.

2) Самообман: Участники с ИИ переоценивали свою скорость, предполагая ускорение на 20%.

3) Качество кода: Несмотря на замедление, качество кода не пострадало значительно, но и не улучшилось заметно.

Использование ИИ может вводить в заблуждение, создавая иллюзию продуктивности, в то время как реальное время тратится на корректировку подсказок и проверку результатов.

Основные причины замедления работы с ИИ:

- Итерации с промптами: Разработчики тратили много времени на доработку запросов к ИИ, чтобы получить полезный ответ.

- Проверка вывода: ИИ часто генерирует код с ошибками, требующий дополнительной отладки.

- Переоценка инструментов: Опытные разработчики, привыкшие к самостоятельной работе, не всегда эффективно интегрируют ИИ в свой workflow.

https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/