Measuring AI code assistants and agents (Рубрика #AI)

Прочитал свежий (вчерашний) research на тему измерения эффекта от AI в разработке от Abi Noda, кофаундера и CEO платформы DX для измерения продуктивности разработки. Этот отчет интересен, так как ребята из DX являются одними из законодателей мод в мире developer productivity:
- Они запилили модель DevEx, которую я уже разбирал "DevEx: What Actually Drives Productivity" и "DevEx in Action"
- В команду платформы входит Nicole Forsgren, которая драйвила развитие DORA метрик, была автором книги "Accelerate", приложила руку к фреймворку SPACE

Теперь, когда ясно почему ребят интересно изучать, давайте заглянем в сам отчет и выделим основные идеи

1. Влияние AI на разработку
AI кардинально меняет подход к инженерной деятельности в технологических компаниях - компании больше не ограничены количеством инженеров, а скорее степенью аугментации их возможностей с помощью AI. Упоминаются такие результаты нескольких компаний
- Booking.com, внедрив AI-инструменты для более чем 3500 инженеров, достигла 16% увеличения throughput за несколько месяцев
- Intercom, почти удвоив использование AI-ассистентов кода, добилась 41% увеличения экономии времени разработчиков.
AI также расширяет понятие "разработчика" - продакт-менеджеры, дизайнеры и бизнес-аналитики теперь могут создавать работающее программное обеспечение с помощью AI, размывая границы между техническими и нетехническими ролями. Вспоминаем про vibe coding:)

2. Ключевые метрики для измерения
Авторы отчета расширяют свой DX фреймворк отдельным направлением DX AI, где фокус на трех вещах
- Utilization - отслеживание внедрения и использования AI-инструментов. Исследования показывают, что даже ведущие организации достигают лишь около 60% активного использования AI-инструментов.
- Impact - измерение реального эффекта на производительность. Рекомендуется сочетать:
-- Прямые метрики: экономия времени разработчиков
-- Косвенные метрики: анализ DX Core 4 показателей (PR throughput, percieved rate of delivery, developer experience index)
- Cost - отслеживание затрат, чистой прибыли (сэкономленное время разработчиков - затраты)
Интересно, что у ребят есть бенчмарки по этим метрикам, которые они предоставляют клиентам DX платформы

3. Баланс скорости и качества
Организации должны балансировать метрики эффективности с показателями качества, чтобы избежать подрыва долгосрочной скорости разработки. AI-генерированный код может быть менее интуитивным для понимания человеком, что создает потенциальные проблемы.

4. Измерение AI-агентов
Исследование рекомендует рассматривать автономных агентов как расширения команд разработчиков, а не как независимых участников. Каждый разработчик будет все больше работать как "менеджер" команды AI-агентов, а оценивать его результаты надо будет по результатам работы этой команды AI агентов

5. Подходы к внедрению системы измерений
Важно правильно коммуницировать цели вндерения метрик, связанных с использованием AI. Авторы рекомендуют четко подчеркивать три ключевых момента:
- Метрики не будут использоваться для индивидуальной оценки производительности сотрудников (ведь не будут же?)
- Цель измерения - понять, как AI-assisted работа влияет на опыт разработчиков и качество программного обеспечения, а не микроменеджмент
- Данные необходимы для принятия инвестиционных решений, помогая определить, какие инструменты и рабочие процессы приносят реальную ценность

6. Избежание ловушек
Отчет категорически предостерегает от директивных мандатов сверху или использования метрик для индивидуальной оценки производительности. Такие метрики, как объем генерации кода, особенно подвержены манипуляциям. Проактивная коммуникация является ключевой - без неё спекуляции и страхи могут заполнить информационный вакуум.

В общем, этот отчет показывает важность сочетания AI-специфических рекомендаций с измерением общей производительности разработчиков, чтобы получить полную картину того, как AI влияет на организационную эффективность.

#AI #ML #PlatformEngineering #Software #Architecture #Processes #DevEx #Devops