Всем привет!
Сегодня рассмотрим статью про модель рекомендаций фильмов на основе трансформеров с Mixture of Experts с RecSys 2025.

Несмотря на значительный прогресс в рекомендательных технологиях за последние десятилетия, остаются нерешённые вопросы: как лучше обрабатывать взаимодействие пользователей с платформой, как корректно формировать негативные примеры для обучения и как учитывать сразу несколько задач при рекомендациях.

В своей работе исследователи из Amazon представили модифицированный подход к коллаборативной фильтрации, который одновременно решает эти вопросы.

Детали

1. Персонализированные сэмплы
Ключевая идея — использовать показатель досмотра (долю ролика, просмотренную пользователем). На его основе формируются позитивные и негативные примеры:

🔸строго негативные персональные (контент, который пользователь явно отверг);
🔸популярные видео, которые человек проигнорировал;
🔸 наименее популярные ролики в датасете.

2. Mixture-of-Experts
Для расчёта скоров применяется ансамбль экспертов:

🔸каждый эксперт обрабатывает историю действий пользователя, закодированную трансформером;
🔸эксперты отвечают за разные временные масштабы взаимодействия;
🔸итоговое предсказание получается через взвешивание результатов экспертов отдельной моделью.

3. Функция потерь
Используется комбинированный лосс:

🔸бинарная кросс-энтропия для CTR;
🔸лосс для ранжирования;
🔸регуляризационные члены.
Особенность — взвешивание пар «пользователь–контент» в зависимости от доли досмотра: чем выше показатель, тем больше вес пары в функции потерь.

Результаты

Метод протестирован на датасете Prime Video (7,2 млн последовательностей, собранных с ноября 2024). Новая модель показала прирост качества примерно на 2–2.5% по метрикам NDCG@1, NDCG@5 и Recall@5 по сравнению с сильными бейзлайнами (SASRec, GRU4Rec, BST).

Отдельные эксперименты подтвердили значимость каждого из четырёх компонентов алгоритма: даже небольшие вклады (от десятых долей до единиц процента) оказались критичны, учитывая, что общий выигрыш над бейзлайном составляет всего пару процентов.

Авторы подчёркивают, что их метод усиливает уже устоявшийся двухэтапный подход к построению рекомендательных систем:

1. Предобучение с учётом нескольких метрик (CTR, досмотры, удовлетворённость).
2. Дальнейшая персонализация под онлайн-поведение пользователей.

По их мнению, именно такой подход остаётся наиболее масштабируемым и практически применимым.

Предыдущий обзор статьи с RecSys от команды AI VK:
🔸Про рекомендации Netflix для прямых эфиров

#обзорстатьи #RecSys