Сборная солянка ребят из Princeton University, MIT, Microsoft и University of Pennsylvania провели масштабное исследование на влияние GitHub Copilot на кодинг.
В исследовании приняли участие 4867 человек из MS, Accenture и анонимной компании входящей в Fortune 100 производителей электроники (список 100 самых больших по обороту компаний США). Данные получились шумные и статистическая значимость вышла не слишком сильная, но сойдет для оценки
Выводы такие:
- количество еженедельных pull requests выросло на 26.08% (Standard Error 10.3%)
- еженедельные комитеты выросли на 13.55% (SE 10%)
- еженедельные билды выросли на 38.38% (SE 12.55%)
При этом в статье есть вот такой забавный момент (цитирую):
Before moving on, we discuss an additional experiment run at Accenture that was abandoned due to a large layoff affecting 42% of participants, resulting in a lack of data on Copilot usage (and hence adoption status)
То есть они как будто прямо в процессе такие: так AI же реально повышает продуктивность программистов, давайте половину уволим!
Ну а в целом хочется побольше таких исследований в разных областях. Особенно интересно, что там с медициной.
Кстати, я недавно все таки попробовал Cursor, и он и правда сильно лучше GitHub copilot. Думаю с ним прироста продуктивности будет еще больше, если провести аналогичное исследование. А ведь таким ассистентам еще развиваться и развиваться.