Когда мера становится целью: закон Гудхарта

В прошлый раз разбирали как прокси-метрики могут сломаться, если их выбрать неправильно и не валидировать. А еще прокси может сломаться, если начать не просто измерять вместо исходной, а целиться именно в прокси. В двух словах это и есть закон Гудхарта.

Сначала немного контекста, с формулировками тут путаница.

🟡Гудхарт, 1975: «любая наблюдаемая статистическая закономерность разрушается, как только на неё начинают давить в целях управления». Было сформулировано в контексте про монетарную политику Британии.
🟡Знаменитое «когда мера становится целью, она перестаёт быть хорошей мерой» написала антрополог Мэрилин Стратерн в 1997.
🟡Ближе всех к нашим задачам закон Кэмпбелла (1976): чем активнее количественный показатель используется для принятия решений, тем сильнее он подвержен искажающему давлению.

В прошлый раз мы разобрали как прокси-метрика может сломаться с точки зрения статистики и как это проверить. Здесь метаанализ прошедших тестов сработает только постфактум, уже после того как связь прокси- и целевой метрики разъедется. Думаю, можно порекомендовать делать валидацию прокси раз в определенный период, но что-то сомневаюсь, что так хоть где-то делают (мы не делаем).

Разберем три механизма.

Подмена измеряемого

Ханой, 1902 год. Французская колониальная администрация борется с крысами как разносчиками чумы и платит 1 цент за крысиный хвост. Хвост можно сказать прокси метрика к целой крысе, но не сама целевая метрика. Ловцы стали отрезать хвосты и отпускать крыс обратно в канализацию, а под городом появились фермы по разведению крыс. По отчетам борьба с крысами прошла успешно: 21 июня сдали 20112 хвостов. Программу свернули, а чума всё равно пришла: 159 заболевших и 110 умерших к 1903 году.

Подмена выборки

Штат Нью-Йорк с конца 80-х публикует рейтинги смертности пациентов кардиохирургов. Метрика разумная: пациент должен знать, к кому идёт. По результатам опроса 1999 года оказалось, что 62% хирургов за год отказались оперировать хотя бы одного пациента высокого риска, и главной причиной назвали публичную отчётность. Плюс приписывали больным более тяжелые диагнозы, чтобы модель ожидала смертность повыше. То есть пациент изначально был тяжелым, и поэтому летальный исход более ожидаем. Метрику улучшили предвзятым отбором в выборку и перекодированием модели, а не фактическими улучшениями.

Короткая дорога к метрике

Появляется способ поднять метрику, ничего полезного не сделав.
YouTube в 2012 ушли от кликов к времени просмотра, чтобы победить кликбейт. Метрика была отличная, чем больше времени просмотра, тем полезнее видео.
А дальше время просмотра само стало целью, и его начали пытаться хакнуть. Ролики стали растягивать до десяти минут, потому что с этой отметки открывались вставки рекламы. Время просмотра росло, а вот удовольствие от продукта не факт: YouTube потом пришлось прикручивать к ранжированию опросы удовлетворённости, потому что сама метрика перестала отвечать на вопрос, было ли видео хорошим.

Метрика, которая была призвана бороться с законом Гудхарта, в итоге снова оказалась подвержена его влиянию.

В науке похожий механизм у импакт фактора: высокий импакт не гарантирует высокое качество статей в журнале. Обзоры одного журнала в дружественных журналах могут повысить импакт этого журнала. Кроме того, цитирования можно купить.
Журнал Cell Transplantation: два обзора в дружественных журналах дали 541 цитирование в расчёт IF за 2010 год. Импакт-фактор вырос с 3.482 в 2006 до 6.204 в 2010, в то время как без этих обзоров было бы 4.082. Тем не менее, альтернативные метрики тоже не слишком прижились, ученые, поправьте, если не так в комментариях.

Обратите внимание: ни в одном из этих случаев цифры не подделывали. Хвосты настоящие, ссылки настоящие, время просмотра настоящее. Ломается не метрика сама по себе, а ее связь с тем, ради чего мы ее считали.

Что с этим делать

🟡Разделять метрику для решения и метрику для цели. Прокси в A/B норма, та же прокси в OKR или в премии может быть проблемкой: появляется человек, заинтересованный в её росте отдельно от продукта. Думаю, вы сами можете вспомнить не один подобный пример.
🟡Считать устойчивость к накрутке проектным требованием. Хорошая прокси - та, которую нельзя улучшить, ухудшив продукт.
🟡Измерять целевую метрику раз в определенный период. Красный флаг будет если прокси растет, а целевая метрика нет.
🟡Пересматривать: валидация прокси не бессрочная.

Конечно, все эти советы для идеального мира, в реальности далеко не все из этого удается делать, но стремиться к этому надо.

Закон Гудхарта это не повод поставить крест на прокси метриках как явлении. Это повод помнить, что прокси-метрика может испортиться и перестать отражать целевую, когда все узнали, что она прокси.

#analytics #metrics