➡️Авторы статьи подтвердили эффект от item-exploration с помощью такой процедуры:

1. Изобретаем метрику, которая с одной стороны отражает exploration, а с другой – коррелирует с пользовательским опытом. В статье выбрана метрика Discoverable Corpus@X,Y – количество айтемов, с которыми пользователи совершили как минимум X положительных взаимодействий за период Y.

2. Показываем в A/B-эксперименте, что базовая стратегия exploration увеличивает Discoverable Corpus. Результаты этого эксперимента показаны на рисунке 3.

3. Запускаем обратный эксперимент, в котором искусственно уменьшаем Discoverable Corpus. Если количество удовлетворённых пользователей в этом эксперименте уменьшится, то положительный эффект от увеличения Discoverable Corpus (и следовательно и от exploration) считаем подтверждённым. Рисунок 5 показывает, что именно это и произошло.
➡️➡️