Подкаст "Свободный слот" про метрики

Есть у ребят из Авито подкаст "Свободный слот", в котором собираются тимлиды, у которых нашелся свободный слот и рассуждают про всякое. В этот раз #поразгоняли про метрики — точнее, не сами метрики, а подходы к их использованию в разработке. С меня как с участника — традиционно тезисы, которые мне показались интересными:

• с одной стороны, все мы знаем про закон Гудхарта. С другой стороны, когда дело доходит до SMART-цели, выполнение S и M лучше всего выражается в виде как раз метрики. Получается, брать метрику в цель не так уж и плохо. А вот когда цель превращается в KPI, люди перестают договариваться и начинают оптимизировать число

• вообще, если люди красят метрики — чаще всего это рациональная реакция людей на систему KPI

• метрика показывает сигнал, но что за ним стоит — она не скажет. Продуктовый подход: прокрасился AB-эксперимент — хорошо. Но если ты не понимаешь почему, это просто цифра — в одной руке у тебя должны быть количественники (те самые метрики), а в другой — качественники, которые эти метрики объясняют (обратная связь от пользователей или набор гипотез например)

• метрики часто важны в динамике: не какое сейчас число, а как оно менялось и почему (привет качественники). mNPS = 80% это хорошо или плохо? Сложно сказать: у одного менеджера 50% это норма, у другого 100% — не норма и оба вполне могут быть правы

• в каждом автомобиле есть спидометр. Но мы не ездим на машине ради того, чтобы выполнять скорость (за редким исключением). Спидометр показывает, как машина едет — но цель поездки в другом, а скорость просто нужно не превышать

• руководителю не нужно постоянно смотреть на 50 графиков. Ему нужен светофор: зеленый — едем дальше, желтый — присмотрись, красный — разбирайся. А под светофором — айсберг из детальных метрик, который скорее дебаг информация, которая достается по необходимости

А еще мы порассуждали, надо ли считать строчки кода и можно ли по сторипоинтам сравнивать инженеров — но самые кликбейтные вопросы как полагается — по ссылкам (трекинг в ссылках — из оригинального поста):

📺 YouTube
🔵 ВК Видео
🎧 Яндекс Музыка