15. Сомневайся в достоверности данных

Я вырос в суровом краю. Бродячие агрессивные собаки были второй уличной проблемой моего детства (на первом месте были гопники, но о них в другой раз). Чтобы напугать собаку, достаточно резко наклониться к земле и сделать вид, что поднял камень, и замахнуться. Собака знает, что такое камень. Агрессии у нее не убавится, но лаять она будет издалека. Опытный продуктовый менеджер, как битая не раз собака, знает откуда может прилететь. Я стараюсь сомневаться в любых данных и перепроверять их.

Недавно запустили эксперимент для увеличения количества регистраций. Результаты были великолепными – новая версия дала прирост регистраций на 500%. Победа! Но битые не раз рёбра старого пса подсказали: «что-то не так». Нашел альтернативный источник данных, проверил – не сходится. Стали разбираться, оказалось, что при настройке эксперимента перепутали названия версий. Новая версия была в 5 раз хуже. Эксперимент оказался неуспешным. Гав-гав, ррр-рр.