Ну че, научились мерить эффекты от AI code assistants и agent’ов?

Помните, что я обычно говорю: если ночью вас разбудили и спрашивают как померить эффективность разработки, отвечайте не задумываясь DORA!

И вот тут я натолкнулся на свежее исследование, которое задает фреймворк оценки эффективности использования ИИшки и агентов в разработке.

Вот оно: DX исследование.

Писали его те же ребята, кто в свое время делали фреймворк DORA и SPACE.
В общем, люди уважаемые.

1.
Компании более не ограничены тем, количеством инженеров, которых они способны нанять. Скорее они ограничены тем количеством полезных агентов, которыми способ оркестрировать человек.

2.
Теперь каждый разработчик - это лид, который оркестрирует агентов, а значит и оцениваем эффективность разработчика мы, как лида, то есть по эффективности его команды.
AI, в целом, расширяет понятие «разработчика» до продакт менеджера, дизайнера, бизнес аналитика и т.п.

3.
Ключевые метрики, которые будем считать:

Utilization - это то, на сколько активно используются AI инструменты. А-ля, Adoption

Impact - измерение реального эффекта на производительность.
Начать можно Экономии времени (да-да, не стоит стыдиться, хорошая метрика).
Потом плавно перейти к DX CORE 4 (PR throughput, perceived rate of delivery, developer experience index).
Ну и вишенка на торте - Cost: считаем эффекты в деньгах.

4.
Баланс скорости и качества - это супер важная штука. Код сгенерированный AI может быть менее оптимальный, менее читаемым, хуже поддерживаемым. Как итог, в будущем команда может столкнуться с проблемами.

5.
Четко коммуницируйте, что внедрение новых метрики нужно для качественного принятия инвестиционных решений, а не оценки эффективности отдельных разработчиков.

Короче, вот вам фреймворк, забирайте и не гундите!

Уже внедряете себе AI в разработку?

💯 - уже во всю бежим
👍 - по чуть-чуть бежим
❤️ - пока естественный интеллект пытаемся прокачать

@badtechproject