Классное исследование про увеличение продуктивности при использовании ИИ для разработки

upd: Исследование на моделях, бывших актуальными в конце 2024 года. Оно всё равно актуально — наука работает медленно, а LLM-кодинг не меняется так уж быстро. Видео-презентация (ссылка в конце поста) — июль 2025.

В исследовании участвовали 100 тысяч разработчиков, использовали подход, основанный на данных — анализировали изменения в git-репозиториях, оценивая функциональность кода, а не количество строк. Каждый коммит исследуется ии-«панелью» из 10-15 экспертов, каждый оценивает по своему измерению.

В среднем ИИ повышает производительность разработчиков на 15-20%, но также приводит к увеличению объема rework — кода, который требует правки после создания.

Прирост производительности наиболее высок для задач с низкой сложностью (30-40%) и более умеренный для задач с высокой сложностью (10-15%). Для некоторых сложных задач ИИ снижает производительность.

ИИ более эффективен с популярными языками (Python, JavaScript). С ними ии может обеспечить прирост производительности до 20%.

Чем больше база, тем меньше прирост производительности.


Итого:
низкая сложность проекта, пишем с нуля → ИИ даст большой буст производительности, 30-40%

высокая сложность, пишем с нуля → прирост скромнее, 10-15%
низкая сложность, старая база → всё ещё хороший прирост — 15-20%

Высокая сложность и старая база — наименьший прирост — от 0 до 10%. А может и хуже стать.


Greenfield-задачи (код с нуля) часто требуют написание стандартного кода (например, CRUD-функциональность для интерфейсов, авторизация, чтение-хранение данных). Это не сложно.

Большая часть реальной разработки находится в Brownfield-зоне, где сложность высокая, и ии-модели не справляются.

(Кто с GDS работал, тот в цирке не смеется!)

Я в этом вижу только положительные новости. Значит большое исследование показывает, что ИИ прекрасно подходит для разработки прототипов. При этом много зависит непосредственно от типа задачи. Из моего опыта, написать стандартную админку проще, чем закодить классный миро-подобный интерфейс, или навайбкодить новый алгоритм (что, впрочем, не исключено). Всегда лучше брать максимально готовое решение, в идеале популярное.

Разработчики никуда не деваются — большая часть программных систем находится как раз в области brownfield (а еще, разумеется, кому-то нужно будет поддерживать и развивать ai slop в продакшне).

Из любопытного — субъективные ощущения увеличения продуктовности разработчиков с реальностью никак не связаны (R = 0.3).


Видео, сайт