Одно из лучших моих решений на старте работы с командой — завести отдельный проект «Гипотезы» у нас в таск менеджере.

Каждый раз, когда что-то замечаю в выдаче или обсуждаю с командой очередную идею, сразу создается задача в проекте. Дальше она тестируется.

По результату эксперимента гипотеза всегда закрывается с выводами и уходит в одну из категорий: положительный результат, отрицательный, нейтральный или эффект не измерим.

Ради интереса посчитал, сколько их набралось за последние полтора года — 187: 163 закрыто, 24 в работе. Из закрытых 47 подтвердились, 81 отвергнута, 35 — эффект не измерим. Отвергнутых почти вдвое больше, чем подтверждённых (как обычно напридумывали хуйни).

Правило простое, и его нельзя нарушать: карточка закрывается только вердиктом — данные, дата, вывод. Без этого проект за пару месяцев превращается в кладбище идей, где потом черт ногу сломит.

Самым сложным оказался не дизайн и не замеры, а дисциплина вокруг них.

• Во-первых, все правки на сайтах должны логироваться: без даты и описания потом не разберёшься, что двинуло позиции — гипотеза или чья-то правка мимоходом.
• Во-вторых, сайты, попавшие в выборку, трогать нельзя до конца окна эксперимента. Звучит просто, на практике это самое трудное: каждая пятая гипотеза осталась без измеримого результата, и заметная часть — потому что у кого-то руки чешутся обновить контент или закупить ссылочного, а любой незалогированный подклей ломает весь эксперимент.

Всё, что дало положительный результат, идёт в регламенты — а оттуда в канбан доску всей команды и в работу аишек.

Всё, что дало отрицательный, либо превращается в новую гипотезу с другими вводными, либо спокойно забывается. Отрицательный результат тоже результат: он закрывает направление и экономит время.

И самое прекрасное: каждый новый человек в команде получает доступ ко всей экспертизе с первого дня. Онбординг и обучение резко упрощаются, по граблям заново никто не ходит.

P.S. Каждый раз, когда появляется свободное окошко, захожу в проект посмотреть, что сейчас в работе, что тестируется и что уже протестировано. Порой оттуда же приходят новые идеи или новый набор вводных для теста.

В следующем посте разберу одну гипотезу целиком: как ставили, что мерили, что получилось и что в итоге поменялось в регламенте.