Кейс из Nebius. Как измерить эффективность внедрения AI в команде? 🤔

#кейс Романа Бунина, AI Adoption Lead @ Nebius (с конференции AI SKILLS)

Главный вывод сразу: самооценка эффективности обманывает. AI внедрение надо мерить, как retention продукта ⚡️

1. Как лидировать AI adoption в компании?

У нас в Nebius есть команда AI adoption, которой я руковожу: мы раздаём людям инструменты, обучаем и собираем success stories. И отдельно есть команда агентов.

С агентами всё просто: было время и качество, стало лучше, эффект видно. А вот когда ты просто дал людям ChatGPT, Claude и Codex, померить пользу резко становится неочевидно.

Простой мысленный эксперимент: как изменилась лично ваша эффективность после того, как появились эти инструменты? Честный ответ обычно: непонятно.

2. Три слоя измерения (и почему первый врёт)

• Опросы. Спрашиваем людей, помогает ли. Беда в том, что самооценка обманчива: исследования показывают, что люди репортят рост скорости, а на практике его нет.

• Использование. Сколько сообщений, какие инструменты, кто чем пользуется. Видно реальное проникновение.

• Логи. Самый ценный слой: что люди реально писали и закрыли ли задачу. Но он недоступен: никто не хочет, чтобы читали его переписку с агентом. Так что работаем по первым двум.

3. Что реально кладём на дашборд

• Люди: Считаем, сколько людей реально пользуется инструментами: не только в абсолюте, но и в проценте от всех сотрудников в командах, потому что именно доля показывает настоящее проникновение.

• Форматы: При этом отдельно смотрим использование чат-инструментов и AI-агентов сотрудников

• Инструменты: Далее данные разделяем по провайдерам (Open AI vs Anthropic)

• Деньги: сколько тратим, в разбивке по департаментам и на человека, плюс затрата на человека как процент от его стоимости для компании.

• Тренинги и квартальные опросы: Количественная аналитика даёт срез, но топ-пользователей всё равно идём интервьюировать руками: цифры показывают что, а живой разговор показывает почему.

4. Главный трюк: смотреть на retention, а не на старт

Начал пользоваться не равно внедрил. Важно, приживается ли инструмент. Поэтому считаем по когортам (кто когда начал) и делим людей на новичков, растущих, стабильных и отваливающихся.

Сразу видно, куда бежать: где много новичков, туда дать тренинг; кто перестал пользоваться, с тем поговорить и понять причину. По сути это retention и когорты, как в продукте, только для адопшна AI.

5. Где реально больно

• Сбор данных. У каждого инструмента свой формат, нормального экспорта нет, поля меняются каждую неделю. API только появляются. Поэтому обязателен семантический слой: что за метрика, как считается и что использовать.

• И обучение. Без него внедрения не существует. Парадокс: те, кто пользуется, думают, что и все умеют, и базовые тренинги не нужны. А базовые заходят лучше всего и поднимают использование сильнее остального.

Ключевой инсайт: меряйте внедрение AI как retention продукта, а не как разовый факт «выдали доступ». И не верьте самооценкам: смотрите на использование и приживаемость по когортам, а качество добирайте живыми интервью.

Удачи с AI Adoption в ваших компаниях,
Роман Бунин, AI Adoption Lead @ Nebius

Запись выступления Романа на конференции

Канал Community Sprints про AI, growth и продукт ⚡