Статья предлагает новый метод для решения задачи Multi-Interest Learning. В этой задаче пользователь представляется не единственным эмбеддингом, а набором из k эмбеддингов-интересов. Обучение интересов происходит в два этапа (см. рисунок):

1. Item representation. Последовательность айтемов, которыми интересовался пользователь, представляется в виде матрицы эмбеддингов размерности n x d, где n – длина последовательности, d – размерность эмбеддинга.
2. Multi-interest routing. Полученная матрица эмбеддингов умножается на обучаемую routing matrix размерности n x k. Routing matrix определяет соответствие айтемов интересам. В итоге получаем матрицу интересов пользователя размерности k x d.

Авторы статьи рассказывают про две проблемы, с которыми они столкнулись при решении задачи multi-interest learning, и предлагают модификацию REMI, которая позволяет решить эти проблемы.

Проблема 1: Sampled Softmax Loss. Типичный размер каталога айтемов в современных рекомендерах – сотни тысяч. Чтобы не считать функцию потерь по всем айтемам, предлагается использовать Sampled Softmax Loss. Для подсчёта ошибки он берёт только позитивный айтем и небольшое число негативных айтемов.

Проблема заключается в том, что в качестве негативных айтемов могут быть выбраны айтемы, которые выступают в качестве других интересов пользователя. Рассмотрим пользователя, чья последовательность включает продукты питания, электронику и сумки. В качестве позитивного айтема пусть выступает сумка. В качестве негативных айтемов будут выбраны айтемы, непохожие на сумку. Например, компьютер (интерес — электроника), хлеб (интерес — продукты) или пиджак. Однако эти айтемы могут выступать в качестве других положительных интересов пользователя.

Чтобы решить эту проблему авторы статьи предлагают новый подход к негативному семплированию. Идея заключается в том, чтобы в качестве негативных брать только те айтемы, с которыми пользователь ещё не провзаимодействовал, и эмбеддинги которых близки к эмбеддингу позитивного айтема.

Проблема 2: Multi-Head Attention. Авторы статьи заметили, что после нескольких эпох обучения интересы «фокусируются» на отдельных айтемах из последовательности пользователя. В итоге каждый интерес пользователя представлен только одним айтемом. Для решения этой проблемы авторы вводят регуляризатор дисперсии для routing matrix.

Сравнение производительности различных методов производилось на трех открытых наборах данных. Во всех экспериментах REMI превзошел как single-interest, так и multi-interest конкурентов (см. таблицу)👩‍💻.