Как измерять AI-Adoption и связать с бизнес-целями (2/5)

В прошлом посте я рассказывал, что надо задумываться - зачем внедрять AI (повторю что у нас только гипотеза что с AI станет лучше). Сегодня - как мы пытаемся измерять эффект.

Главный вопрос: как понять, что внедрение реально работает?

🌲Ответ: строим трёхуровневое дерево метрик (дерево тут с натяжкой, а еще напрашивается разложить это по карте гипотез).

⚙️ Результата финального еще нет. Что мы делаем чтоб влиять на метрики - будет в следующем посте (там про ADKAR).

Уровень 1: AI-Adoption (внедрение)

Мы трекаем:
- MAU (количество активных пользователей в месяц) / DAU (в день) / Stickiness (=DAU/MAU, не просто количество активных пользователей, а еще и насколько они часто пользуются)
- Retention (удержание пользователей) / Churn (отток пользователей)
- Количество запросов на пользователя
- % задач с #ai (пока ручная пометка в тикетах в jira)

Уровень 2: Изменение процессов (промежуточный слой)

Это ключ! Adoption/Внедрение выражается в том, что процессы меняются:

- 📉 Cycle Time (от In Progress → Closed)
Сравниваем задачи с меткой #ai vs без ai
Гипотеза: AI ускоряет доставку → Cycle Time↓ → T2M↓.

- 🐛 Defect Rate (баги на задачу)
Проверяем: AI не роняет качество.
Если Defect Rate ≤ baseline → ОК → масштабируем.

- 📦 Количество задач на команду
Команды с высоким adoption (например, >60% задач с меткой #ai) vs низким (<20%).
Гипотеза: больше adoption → больше задач → Объём↑.

Уровень 3: Бизнес-результаты
• Cycle Time от In Progress до Closed ↓ → T2M↓
• Defect Rate (кол-во дефектов) ≤ baseline → Качество OK
• Кол-во Задач↑ → Объём↑

🎮 Все эти стрелки вверх-вниз-влево-вправо выглядят как комбо в файтинге

Пример может выглядеть так:
1. В прошлом месяце 50pp Cycle Time для задач с #ai = 3 дня vs 5 дней без AI.
2. Команды с adoption >60% закрыли 110 задач vs 78 задач у команд с <20%.

🔥 Мой эксперимент за 3 месяц: я еще не понял стало ли лучше. Изменения требуют куче образовательных мероприятий, гайдов, постоянной работы с аудиторией подразделения.

А еще надо сильно смотреть на ROI - железки-то дорогие (а в нашей геополитической ситуации еще дороже).

🙏 Я призываю вас комментировать и помочь мне пересмотреть дерево, если хотите поумничать - хочется взгляда со стороны и вашего опыта!

❓ Вопрос к вам: как вы трекаете или пытаетесь трекать эффект от AI?

#AIметрики #T2M #Adoption