Матричная факторизация с планированием на несколько шагов вперед

Исследователи AI VK предложили объединить ALS и Monte Carlo Tree Search.

Обычная матричная факторизация выбирает top-K айтемов по текущей близости эмбеддингов, а новый подход учитывает, как каждая рекомендация изменит профиль пользователя и повлияет на следующие показы.

Процесс представили как RL-среду:

- состояние — эмбеддинг пользователя;
- действие — показ айтема;
- награда — близость к релевантным объектам;
- переход — обновление эмбеддинга по формулам ALS в допущении оптимистичной среды

Эксперименты на MovieLens-1M, KuaiRec, Yambda и VK-LSVD показали прирост относительно статического top-K. На отдельных срезах VK-LSVD Recall@10 вырос ~ в 1,5 раза.

#aivkhub #rl #mcts #als