Аналитическая платформа Faros два года собирала телеметрию с 22 000 разработчиков и сравнивала, как работают команды в зависимости от использования ИИ. В периоды активного использования команды закрывали на 66% больше эпиков на человека. При этом на каждый смерженный PR (Pull Request) приходилось втрое больше инцидентов в проде 👀
▶️ Где ИИ экономит время
🔵 В Anthropic опросили своих инженеров, и те оценили, что 27% задач, сделанных с ИИ, без него не делались бы вовсе. Сюда попадают мелкие утилиты под основную задачу и рефакторинг кода, который давно всех раздражал. В минутах такую экономию не посчитаешь, зато из бэклога уходит то, что вечно проигрывало более срочному.
🔵 Там же поставили эксперимент: 52 разработчика, в основном джуны, осваивали незнакомую Python-библиотеку, кто с ассистентом, кто без. Те, кто просил у ИИ только объяснения, а не готовый код, лучше поняли материал и справились с задачей быстрее всех. По общей скорости их обогнали лишь те, кто отдал ассистенту задачу целиком.
▶️ Где ИИ отнимает время
🔵 В том же эксперименте, тест по итогам задачи показал, что группа, которая не использовала ИИ разбирается в задаче примерно на 17% лучше. Это говорит о том, что при использованиии ассистента инженеры зачастую лишь поверхностно ознакамливаются с задачей и не вникают в ее суть.
🔵 C ассистентом разработчик за день ведет на 67% больше разных PR, а задач, которые остаются без движения неделю и дольше, становится на 26% больше. Начинать задачу с чистого листа стало легче, а доводить до готового состояния тяжелее.
🔵 Код от ИИ выглядит красиво, однако логические ошибки сидят глубже, и ревьюеру приходится восстанавливать, какую задачу решал код. Медианное время в ревью выросло больше чем в пять раз. PR, смерженных совсем без ревью, стало на 31% больше, и, по версии авторов, специально этого никто не решал, это потому, что ревьюеры не успевают за потоком.
На каких задачах вы сами выключаете ассистента? 👀
Мы в МАКС 🐱