Сегодня - про А/Б-тесты.

Начнем с публикации лекции Игоря Яшкова, руководителя группы анализа экспериментов в Поисковом портале Яндекса на Матемаркетинге-2019

Игорь заставляет задуматься об области применимости метрик и предоставит кейсы про неверный выбор или интерпретацию метрик. Если долго использовать одну и ту же North Star метрику, то происходит оверфит и метрика перестаёт работать. Выбирая ключевую метрику для эксперимента, нужно хорошо понимать область её применимости, чувствительность, уровень в иерархии.

Игорь учит использовать инструменты валидации метрик:
- проведение ухудшающих А/Б-тестов,
- проверка согласованности с более высокоуровневыми метриками,
- измерение чувствительности метрик и проверка корректности своей системы расчёта статистической значимости

= = =
Кроме этого, сейчас у Яндекса масштабный проект по объединению сервисов в рамках суперприложения. И на этот проект Игорь ищет к себе в команду сильного продуктового аналитика:
- прогнозировать и измерять рост новой платформы, искать точки роста;
- участвовать в ключевых продуктовых решениях;
- анализировать привычки пользователей, способы возвращения в сервисы и причины оттока;
- проводить и анализировать АБ-тесты в приложении и в Поиске;
- развивать data-driven систему принятия решений.

Больше подробностей про суперапп Яндекса. Если вам интересно, пишите Игорю в Facebook

@internetanalytics