Измеряя AI в SDLC: от adoption-метрик к бизнес-ценности и пользовательскому результату (Рубрика #AI)

Примерно неделю назад моя коллега Анна Громова выступала на митапе Yandex AI Dev Day. Она руководит продуктовой аналитикой внутренних платформ, процессов SDLC и AI-инструментов, собственно поэтому она и могла лучше всех рассказать эту тему. Выступление было достаточно коротким и имело примерно такую структуру

1️⃣ Что такое SDLC и зачем его мерить
Если упрощать, то software development life cycle - это процесс поставки кода в продакшн. Для его оценки в Т-Банке применили три широко известных в узких кругах фреймворка:
- DORA - старейший фреймворк, что оценивает скорость и надёжность поставки (вот тут я рассказывал как фреймворк в 2026 году прирос пятой метрикой)
- SPACE - фреймворк, что учитывает не только конвейер, но и удовлетворённость, состояние потока разработчика, и еще кучу всего (вот выступление Саши Кусургашева от лета 2025 года, где он рассказал как мы готовим этот фреймворк)
- DevEx - фреймворк с фокусом на когнитивной нагрузке, переключении контекста, цикле обратной связи (вот выступление Вовы Калугина про то, как мы готовим DevEx)
Применив мысли из этих референсных фреймворков, мы в Т-Банке построили "дерево метрик" (но оно скорее похоже на сеть): верхний уровень - DORA, нижний - DevEx, SPACE -где-то посередине + на нем основан полугодовой опрос тысяч инженеров.
Кстати, про все эьт подходы DORA, SPACE, DevEx я уже много раньше рассказывал.

2️⃣ AI-ассистент Т-Банка и его уровень принятия (adoption)
Внутренний AI-ассистент внедрён в IDE, Jupyter-ноутбуки, BI-системы, GitLab, observability и поиск. Режимы работы в IDE: подсказки, чат, агентский режим. Метрики принятия
- IDE (от пользователей GitLab) - ~70–75%
- Инструменты аналитики - ~75%
- Все поверхности суммарно - ~57%
При таком уровне использования уже можно делать выводы о влиянии AI на метрики SDLC.

3️⃣ От adoption-метрик к пользовательским сценариям
Раньше считали только adoption: новые пользователи, отток, доля сгенерированных артефактов, "осмысленность" использования (перегенерация, сброс контекста), лайки/дизлайки.
В 2025–2026 году перешли к пирамиде метрик:
- Верхний уровень - бизнес-метрики SDLC (time to market, надёжность)
- Средний - закрытые пользовательские сценарии (генерация юнит-тестов, помощь в code review и т.д.)
- Нижний - технические метрики ассистента (скорость, версия модели)
Это позволяет одновременно отвечать на бизнес-вопросы и развивать AI-продукт.

4️⃣ Роль телеметрии
Ключевой тезис: сначала определить метрики → потом решить, какие логи собирать, а не наоборот. Это сокращает "приседания" вокруг телеметрии и фокусирует на реальной цели. Единые данные важны, чтобы результаты разных команд (AI-команда, CICD-команда) были консистентны между собой.

В докладе есть еще ряд чисел про результаты внедрения в разные сценарии, но я оставлю это тем, кто заинтересовался и готов посмотреть оригинальное видео.
А вообще, выступление полезное и интересное, а также оно демонстрирует, что в России мы близки к SOTA по методам измерения влияния AI на разработку (но у нас есть множество идей, как приблизится к SOTA на глобальном уровне).

#AI #Metrics #Engineering #Management #Software