AI замедляет разработчиков

Ага-ага, сегодня у нас шок контент- исследование от серьезных ребят (METR), утверждающее, что AI замедляет разработчиков.

В пятницу вечером с Сашей Поломодовым сделали Разбор отчета METR "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", где показано замедление разработчиков при использовании AI.

Что нам удалось обсудить:
1.
Дизайн самого исследования:
246 задач, 16 инженеров, Open Source 10-й летний проект, все инженеры знакомы с проектом.

2.
Причины замедления работы.

3.
Наши основные когнитивные искажения при оценке задач.

В целом, я считаю супер полезное исследование для тех менеджеров, кто уже «готов заменить всех разработчиков».
Здесь нет победных реляций, а скорее намек на то, что в вашем легаси AI не сможет сейчас решать сложные задачи эффективнее инженеров: сложность и запутанность кода, неумение моделей удержать весь объем проекта и т.п.
То есть, исследование - здравая оценка реальных возможностей моделей на текущий момент.

Единственный минус - выборка в 16 инженеров.

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

@badtechproject