К предыдущему посту - разговорник по АВ-тестам

Было довольно много реакций, чтобы узнать что такое прокрасы и красные и зеленые тесты. Думаю, что могу объяснить это в двух словах.

Итак. АВ-тест делит пользователей на две группы. Одна группа работает, как работала. А на второй вы раскатываете новый функционал. Суть в том, что метрики в двух группах всегда будут отличаться. Но вопрос - это случайность или следствие отличий между группами?

Статистический критерий выдает пороговое значение, чтобы изменение не считалось случайным. Критерий зависит от объема трафика, дисперсии метрики (= величины шума) и вероятности ошибок, на которые вы соглашаетесь.

Если изменение метрики больше порога - говорят, что она прокрасилась

- Если метрика изменилась положительно, говорят, что прокрас зеленый 🟢 . Если отрицательно, то красный 🔴

- Если в тесте положительно прокрасились ключевые метрики - говорят, что тест зеленый 🟢

- Если отрицательно, то красный 🔴

- Если ничего не прокрасилось, говорят, что серый 🔲

- Если есть как положительные, так и отрицательные прокрасы, говорят, что тест зелено-красный 🟢🔴

- Если прокрасы положительные или отрицательные, но на грани значимости, то говорят, что тест серо-зеленый 🔲🟢 или серо-красный 🔲🔴