Метрики внедрения AI coding инструментов в компаниях

В комментах к одному из прошлых постов спросили про метрики внедрения AI coding инструментов. Решил написать свою точку зрения.

Мерить эффективность работы программистов готовыми метриками - очень сложно. А эффект от внедрения AI coding инструментов - еще сложнее:

1⃣ бизнесу важны деньги - сэкономленные или заработанные. Но связь между кодом и финансовым результатом появляется только через месяцы или годы, поэтому нужно использовать прокси-метрики.

2⃣ нормальных метрик на уровне одного разработчика практически нет. Данные шумные, люди хачат KPI, а сами измерения меняют поведение.

3⃣ популярные показатели вроде LoC, числа коммитов, пулл-реквестов, закрытых задач, субъективных оценок ускорения очень часто не репрезентативны. Также как и количество принятых изменений от AI coding агентов.

4⃣ черри-пикинг отдельных удачных кейсов (например миграция с legacy на новый тех стек) может показывать крутые отдельно взятые бизнес-результаты, но не всегда масштабируется на всю организацию.

Я считаю, что важнее мерить импакт на уровне команды или бизнеса-юнита:

1⃣ time to market для фичей (время от попадания в бэклог до прода);

2⃣ размер и количество заделиверенных изменений (проще если есть стори-пойнты или другой способ оценки размера ченжей);

3⃣ change failure rate (процент релизов с откатом или инцидентом);

4⃣ количество post release багов.

Именно эти 4 метрики в совокупности являются взаимодополняемыми и сбалансированными. Плюс полезно мерить уровень удовлетворенности разработчиков AI тулами (NPS), но это вторичный показатель, влияющий лишь на выбор инструментов.

Подписаться