Перед майскими посетил митап в Тинькофф, посвященный A/B-тестам.

Спикеры из HeadHunter, Яндекса и Тинькофф рассказали как ускорять проведение A/B-тестов, повышать их удобство и влиять на качество принимаемых решений.

Особо запомнились два доклада:
🔹«Как в Алисе автоматизируют дебаг A/B-экспериментов с прокрасившимися метриками» от Романа Рыбальченко;
🔹«Подглядывай правильно: как ускорить принятие решений с помощью последовательного анализа» от Виктора Харламова.
Более того, Виктор презентовал для всего комьюнити python-ноутбук, в котором приведена простая реализация анализа, позволяющая сокращать время проведения тестов конверсий на десятки процентов (а то и в разы). Вы можете самостоятельно попробовать последовательный анализ, сравнив длительность теста с классическим дизайном.

Запись выступлений и презентации доступны по ссылке.