Начал пересматривать доклады по АБ тестам с Aha 23.
Немного про доклад Как в Ozon построили процесс-комбайн АВ-тестирования... Вячеслава Коськина.

В целом, построение некой методологии, системы принятия решений делать / не делать АБ тест, библиотеки кода - это как бы само собой разумеющееся.

А что показалось наиболее интересным - специально выделенные валидаторы, которые одобряют запуск эксперимента и контролируют корректность результатов. И впечатлили цифры - до запуска валидаторы "заворачивают" до 20% экспериментов, и в 10% находят ошибки в расчетах итогов. Эффективность налицо.

Мысленно так прикидываешь результаты своей работы...😰