Сегодня рассказываем про классную статью с ICML 2023. На одном из митапов ребята из ВКонтакте озвучили идею: метрика, на которую мы настраиваем рекомендер, подсказывает авторам, какой контент мы от них ждём. Например, если площадка настраивает модель на рост timespent, то авторы будут мотивированы писать лонгриды, причем хорошо читаемые. В статье эта идея исследована (и формализована) в разрезе разнообразия рекомендаций. Авторы выстраивают свою стратегию так, чтобы их контент получал от рекомендера максимальный скор, и, следовательно, максимальные охваты. А значит, когда мы добавляем компонент разнообразия в loss модели, авторам ничего не остаётся, кроме как разнообразить свой контент. Более того, сам компонент разнообразия можно сформулировать так, чтобы поощрять именно «будущее» разнообразие контента, а не наблюдаемое в исторических данных.

Предположения, использованные в статье, скорее, не выполняются в реальных системах. Например, предполагается, что разработчики рекомендера знают, сколько стоит изменение контента для авторов, а авторы наблюдают скоры модели. Из-за этого напрямую реализовать предложенный подход в продакшен не получится. Тем не менее, результаты экспериментов получились важные. Во-первых, рекомендер определяет не только благополучие потребителей контента, но и стратегическое поведение авторов. Во-вторых, если постоянно поощрять только релевантность, со временем контент на платформе становится очень одинаковым. Мы в ОК наступали на эти грабли, но сошли с них. Согласно этой статье, всё правильно сделали.