Напомню как работает наш продукт: пользователи постят всё в общую ленту Collective, а кор-аудитория ставит этому контенту лайки. На их основе мы каждый день публикуем 300 лучших мемов в главную ленту.

Раньше редакторы сидели в админке, искали лучший по их мнению контент в Collective, и собирали выпуски лучших.

Мы решили переосмыслить суть редакционной работы. Сделали алгоритм, который сам дает на апрув редактору лучшее на основе интервала Вилсона. И редактор или апрувит или отклоняет.

Тест шел в четырех группах: дефолт, роботы, US редакторы, и московская редакция.

Роботы сразу показали минус, поэтому их отрубили через три дня. По остальным результаты такие:
– Рост глубины просмотра и длины сессии во всех тестовых группах
– Рост Smiles Rate, Shares Rate и остальных метрик вовлечения на 5-20%
– Рост ретеншена в группе с US редакцией

Получается, что редактора пропускали часть крутого контента, и за счет этого мы теряли пользователей.
После раскатки этого теста мы пробили порог в 100 лайков на 1000 показов.

Теперь представьте себе классическое медиа с главредом, редакционной политикой, и редакторами, которые что-то там выбирают. У этого просто нет будущего.