История кликов, просмотров и действий пользователя сама по себе мало что даёт. Гораздо интереснее — собрать всё это в единое представление его интересов.

Именно такой подход разобрали в VK: трансформерная модель строит нейропрофиль пользователя на сигналах из разных сервисов.

В статье — токенизация событий, временные и контентные признаки, attention, двухбашенная архитектура и обучение на больших каталогах.