Вопросы по метрикам спрашивают на любом собеседовании, ведь без метрики невозможно оценить успешность ни одного эксперимента. В прикрепленном файлике для моих любимых подписчиков находятся все популярные метрики, которые нужно просто заучить для собеседований. Но опять же не стоит относиться к ним, как к готовым рецептам. Выбор метрики — это всегда непростая аналитическая задача! Научиться ее решать конечно же поможет наш курс по математической статистике и AB тестам.

Желательные свойства метрики:
• Согласована с целями сервиса.
• Чёткая интерпретация изменения метрики (хорошо это или плохо)
• Способность уловить статистически значимую разницу между контролем и тестом, когда она есть. Чем выше чувствительность, тем меньше данных нужно, чтобы обнаружить стат-значимые изменения.
• Должна быть согласованной с тем, что нельзя ломать.
• Невысокая дисперсия, иначе, чтобы уловить значимый эффект, надо собирать много данных.

И это далеко не все, да и желаемые свойства нередко противоречат друг другу)