https://metr.org/Early_2025_AI_Experienced_OS_Devs_Study.pdf

"...Несмотря на широкое распространение, влияние инструментов ИИ на разработку программного обеспечения в реальных условиях остается недостаточно изученным. Мы проводим рандомизированное контролируемое исследование (РКИ),
чтобы понять, как инструменты ИИ на рубеже февраля-июня 2025 года влияют на производительность опытных разработчиков ПО с открытым исходным кодом. 16 разработчиков со средним опытом работы с ИИ
выполняют 246 задач в зрелых проектах, в которых их средний опыт работы составляет 5 лет. Каждой задаче случайным образом назначается разрешение или запрет на использование инструментов ИИ начала 2025 года. Когда инструменты ИИ разрешены, разработчики
в основном используют Cursor Pro, популярный редактор кода, и Claude 3.5/3.7 Sonnet. Перед началом выполнения задач разработчики прогнозируют, что разрешение использования ИИ сократит время выполнения на 24%. После завершения исследования разработчики оценивают, что разрешение использования ИИ
сократило время выполнения на 20%. Удивительно, но мы обнаружили, что использование ИИ фактически
увеличивает время выполнения на 19% — инструменты ИИ замедляли разработчиков. Это
замедление также противоречит прогнозам экспертов в области экономики (на 39% короче)
и машинного обучения (на 38% короче). Чтобы понять этот результат, мы собираем и оцениваем данные по 20 свойствам нашей среды, которые априори могут способствовать наблюдаемому
эффекту замедления, например, размеру и стандартам качества проектов или предыдущему
опыту разработчиков с инструментами ИИ. Хотя влияние экспериментальных артефактов нельзя полностью исключить, устойчивость эффекта замедления в наших
анализах позволяет предположить, что он вряд ли в первую очередь является функцией нашего
экспериментального
дизайна...."