Метрики эффективности. Хорошо или плохо?

TLDR. Даже самые дурацкие метрики могут быть использованы на благо при определенных условиях и в умелых руках. В неумелых руках даже хорошие метрики не принесут пользы.

Все смеются над мифической метрикой количества строк кода. Мол, нет хуже метрики для программистов. Потому что главное в инженерии не количество, а качество.

Вообще в крупных компаниях регулярно делаются попытки обложить все численными метриками. Я был свидетелем нескольких неудачных попыток обложить инженерные подразделения метриками.

Первый пример

У нас в Сбере пришел новый руководитель трайба. Он пришел из продаж, а в продажах все построено на том, что раз в Х времени все менеджеры территорий собираются и смотрят табличку выполнения плана. Те кто зеленые получают похвалу и в итоге бонусы, те кто красные, получают развивающую обратную связь 😄

Наш новый руководитель сказал - я плохо понимаю чем занимается несколько сотен инженеров. Давайте по каждой команде составим метрики и тоже отранжируем их от зеленых к красным. Кто зеленый получит повышенные оценки, а с красными будем работать 🏌️. При этом, команды были очень разные. Кто-то делал фронт, кто-то бэк, кто-то занимался DS, а кто-то писал девопс пайплайны. В общем, нетрудно догадаться, что инициатива вызвала стресс, но в итоге ничего не получилось.

Второй пример

Тоже в Сбере. В какой-то момент у нас ввели метрику фин эффекта от AI. Эта метрика стала жестко пушиться с самого верха компании, а суммы были неприлично большими, что создало очень много негативного напряжения. Дело в том, что фин эффект спрашивали только с продаж и с AI. У продактов например не было мотивации на фин эффект. В добавок, для валидации фин эффекта от AI создали отдельное подразделение валидации. Все это привело к тому, что защита фин эффекта обросла огромным стрессом, необходимостью натягивать результат, которого нет, и заниматься политикой. Лично мне это очень неприятно. И это я вежливо пишу, а вот Никита в своем посте не постеснялся прямым текстом написать про один реальный кейс. В итоге с периода ввода фин эффектов при мне ушло много годных людей, да и я сам в их числе.

Но это не значит, что метрики эффективности это плохо

Примерно год назад у нас относительно медленно шли раскатки фичей по нескольким направлениям. Я сделал дашборд с количеством смердженных PR (пул реквестов, атомарных раскаток кода) по всем DS-инженерам. Это был чисто информационный дашборд, он никак не влиял на оценку и не требовал выполнять KPI. Но каждый мог посмотреть на себя на протяжении последних месяцев. Дашборд помогал понять, в каких местах в данный момент есть сложности. В итоге, за пару месяцев мы кратно улучшили ситуацию: собирались с ребятами, разбирали трудности и меняли что-то в наших процессах.

Если бы мы сделали KPI на количество PR, то люди бы легко его зафродили. Но если никто не пытается фродить метрику, то количество PR является хорошим прокси к эффективности.

Поэтому на мой взгляд оценивать команду нужно по продуктовым метрикам. А метрики эффективности нужно использовать как инструмент в работе. Тогда будет хорошо! А так, даже самую здравую метрику можно накрутить и толка от нее не будет

Если пост откликнулся, буду рад вашим реакциям 🔥

#management@big_ledovsky