Кто мы такие?
«3 гигабайта кода на недокументированном языке программирования, с нечётким синтаксисом, которое писало безумное количество поколений очень тупых программистов. Большая часть этого кода просто мусор, а остальная работает только благодаря великому отделу тестирования с триллионами тестировщиков и полномочиями вплоть до расстрела говнокодеров, которые написали плохой патч».
— Михаил Никитин, эволюционный биолог.
Это смешно — но за метафорой прячется интересная мысль про управление. Геном работает. Он сверхнадёжен. И при этом его никто не проектировал, никто не понимает целиком, а «авторы» просто перебирали варианты. Откуда тогда надёжность? Не от ума программистов. От отдела тестирования — от среды, которая беспощадно отбраковывает плохие версии. Качество здесь — свойство не отдельной мутации, а фильтра.
Теперь посмотрите, как обычно понимают доказательный менеджмент:
«Давайте принимать решения на основе данных».
Звучит разумно. Но это слабая версия — и она почти ничего не запрещает. Любой менеджер скажет, что уже так делает. Проблема в том, что данные не принимают решений. Их интерпретируют люди — с предвзятостями, дедлайнами и уже готовым выводом, под который задним числом подбираются цифры. У слабой версии нет защиты от злоупотребления самой собой. Ею можно прикрыть что угодно.
Сильная версия звучит иначе:
«Давайте построим среду, в которой плохие управленческие решения погибают быстро и дёшево, а полезные получают право на масштабирование».
Разница принципиальная. Слабая версия говорит о качестве отдельного решения. Сильная — о свойствах системы, которая решения отбирает. Ровно тот сдвиг, что отличает доказательную медицину от «опыта уважаемого профессора»: ценность не в том, что врач учитывает данные, а в том, что существует институт клинических испытаний, убивающий неработающие гипотезы до того, как их раскатают на пациентов. Институт важнее отдельного суждения.
Но наш геном — это и предостережение. У сильной версии есть три условия, без которых она превращается в ту самую слепую расточительную эволюцию с триллионами трупов.
Дёшево, а не «в проде». Эволюция тоже отбирает удачные решения — ценой миллионов лет и бесконечной смертности. Это не образец для подражания. Ценность хорошей среды не в том, что плохое решение умирает, а в том, что оно умирает на маленьком обратимом эксперименте, а не после раската на всю компанию. У Сноудена в Cynefin это называется safe-to-fail: в сложной среде запускают не один «правильный» план, а набор небольших проб, заведомо безопасных при провале, — и усиливают то, что сработало, гася остальное.
Критерий, привязанный к цели, а не к политике. «Полезное решение масштабируется» — полезное для чего? Если критерий не объявлен явно, отбор идёт по выживаемости в иерархии: масштабируется то, что хорошо смотрится в презентации и нравится начальству. А это выращивает не профессионалов, а придворных.
Защита от закона Гудхарта. Как только критерий объявлен, он становится мишенью. Без этого «полезные решения» — это просто практики, научившиеся обманывать метрику.
Сложите три условия — и получится определение, которое реально работает:
Доказательный менеджмент — это среда, где глупое решение дёшево умирает раньше, чем успевает масштабироваться.
Здесь у красивой формулировки кончается лёгкость.
Геному отдел тестирования достался бесплатно — его не пришлось проектировать, он и есть сама реальность: не выжил — значит, не прав.
Внутри организации такого арбитра нет. Селективную среду приходится строить — управленческими решениями. Теми самыми, с теми же предвзятостями, которые она и должна отбраковывать.
Среда, отбирающая хорошие решения, сама оказывается их продуктом. И тогда главный вопрос доказательного менеджмента — не «какие данные собрать», а «как устроить фильтр, которому можно доверять отбор, если собран он той же рукой, что и всё остальное»?
Campbell, D. T. (1960). https://pubmed.ncbi.nlm.nih.gov/13690223/