What Makes a Good Productivity Metric? (Рубрика #Management)

В «All Models Are Wrong» я разбирал, почему продуктивность инженеров требует нескольких измерений. Теперь прочитал «What Makes a Good Productivity Metric?» Коллина Грина, Сьеры Джаспан и Маджеда Самада из Google — про то, как проверить отдельную метрику. На полях отметил вывод: регулярность рабочего графика может быть важнее частоты посещения офиса. Но именно здесь захотелось поспорить.

1️⃣ Сначала начнем с того, а что авторы вообще измеряют
Руководителям нужно было понять, учитывать ли в политике гибридной работы и частоту посещений, и регулярность расписания. Это разные свойства: два офисных дня каждую неделю могут быть заранее известны, а могут каждый раз выпадать неожиданно. Авторы рассмотрели 13 метрик и выбрали Weekly Markov Consistency. Она оценивает, насколько предсказуем статус человека (офис, дом, не работает) по статусу в тот же день предыдущей недели. В основе марковская энтропия, результат нормирован от 0 до 1.

2️⃣ Хорошую метрику они предлагают проверять по четырём признакам
1) Её смысл можно объяснить людям, принимающим решения.
2) Она отражает ожидаемые закономерности.
3) У неё нет свойств, искажающих важные случаи.
4) Она полезна для принятия решений.

Дальше начинается самая полезная часть: проверка на примерах. Исследователи добавляли случайные изменения в регулярные расписания, сравнивали разные виды гибрида, смотрели сезонность. Восемь участников оценили 50 расписаний; оценки людей положительно коррелировали с метрикой. Проверили и то, что она слабо коррелирует с частотой посещения офиса.

На полях я назвал понятное объяснение «shortcut для мозга». Сложная формула вполне может иметь ясный смысл. Только лёгкость объяснения ещё не гарантирует, что мы правильно поняли число:)

3️⃣ Вот пример уже из моего разбора формулы
Человек чередует целую рабочую неделю в офисе с целой неделей дома, выходные неизменны. Метрика даст 1: переходы полностью предсказуемы. Хотя статус каждого рабочего дня меняется относительно прошлой недели! При сравнении через 28 дней он уже повторяется, но результат остаётся тем же. Метрика улавливает предсказуемость переходов, которая не требует еженедельного повторения графика.

Для планирования такое чередование может быть совершенно удобным. И здесь вспоминается разбор про скорость и предсказуемость сборок из той же серии: человеку нужно понимать, как организовать следующую часть работы.

4️⃣ А что со связью с продуктивностью?
Авторы сообщают: у инженеров с регулярным гибридным графиком на 1–3 офисных дня в неделю CL throughput — поток изменений кода — был неотличим от показателя регулярно работавших из офиса всю неделю. Данные охватывают десятки тысяч инженеров, но в короткой статье нет размеров эффектов и подробностей анализа, достаточных для проверки причинного вывода. Возможно, сама организация работы позволяет и поддерживать график, и выпускать изменения.

К тому же один throughput не охватывает качество, обучение и помощь коллегам. В разборе про исчезновение техдолга я уже обсуждал, почему счётчики изменений могут пропустить полезный эффект.

Меня здесь интересует гипотеза: регулярность помогает через планирование и координацию. Но тогда нужно знать, было ли расписание заранее известно коллегам и совпадало ли у них время для совместной работы. У двух людей могут быть идеально регулярные офисные дни, которые никогда не пересекаются. Я бы проверял всю цепочку: график известен заранее → нужное взаимодействие состоялось → стало меньше ожидания и сорванных договорённостей. Это уже предложение к исследованию, а не результат статьи. Если заранее согласованный, но меняющийся график помогает не хуже постоянного, что именно стоит закреплять в политике компании?

#Management #Engineering #Productivity #Research #Metrics