Как думаете, может ли быть такое, что результатам A/B-теста нельзя верить?

Короткий ответ – да. В сложных системах пользователи и алгоритмы влияют друг на друга через общее состояние платформы, из-за чего классический A/B начинает ломаться и показывать ложный эффект.

У нас вышло видео, где Александр Дубейковский разбирает интерференцию, объясняет, почему метрики скачут, чем A/B отвечает на вопрос «кому стало лучше», а switchback — «как изменилась система в целом».

Если вы еще не смотрели, собрали для вас ссылки:
YouTube
Дзен
ВК