What’s on Google's Deepmind? (RecSys статьи за ~последний год).

HyperFormer: Learning Expressive Sparse Feature Representations via Hypergraph Transformer. Улучшают качество на тяжелом хвосте признаков с помощью гиперграфа, в котором вершины — это объекты, а гиперребра — значения признаков. Делают message passing в два этапа (от признаков к объектам и vice versa).

Unified Embedding: Battle-Tested Feature Representations for Web-Scale ML Systems. Используют единую матрицу эмбеддингов для всех признаков, для каждого признака используется несколько лукапов по хэшу (с коллизиями).

Hierarchical Reinforcement Learning for Modeling User Novelty-Seeking Intent in Recommender Systems. С помощью RL оценивают потребность пользователя в новизне и разнообразии. Используют DDPG и DQN (дальше было страшно читать, не стал).

Better Generalization with Semantic IDs: A case study in Ranking for Recommendations. У холодных айтемов плохие обучаемые эмбеды, а контентные эмбеды делать затратно (дорого хранить). Обучают с помощью RQ-VAE "иерархические" семантические айдишники по контенту, которые затем считают для всех (и холодных тоже) айтемов.

Density Weighting for Multi-Interest Personalized Recommendation. Хотят несколько векторов пользователя, но все векторы пользователя забиваются популярными интересами/айтемами. Используют хитрую двухэтапную процедуру обучения. Вводят обучаемые векторы глобальных интересов и делают "параметрический" аттеншн.

Improving Training Stability for Multitask Ranking Models in Recommender Systems. Борятся с нестабильностью обучения больших нейросетевых ранжирующих моделей с помощью своего хитрого клиппинга поверх Adagrad'а.

Fresh Content Needs More Attention: Multi-funnel Fresh Content Recommendation. Строят отдельный стек рекомендаций для нового и long-tail контента (с уклоном в content-based модели), дают ему один слот в выдаче.

Efficient Data Representation Learning in Google-scale Systems. Хвалятся, что unified эмбеддинги и DCN-v2 используют по всему гуглу (>50 моделей).

Online Matching: A Real-time Bandit System for Large-scale Recommendations. Используют контекстуальных линейных бандитов, упрощают их с помощью кластеризации пользователей.

Multitask Ranking System for Immersive Feed and No More Clicks: A Case Study of Short-Form Video Recommendation. Моделируют trailing bias в рекомендациях коротких роликов. Перевзвешивают лоссы c помощью мета лернинга; регуляризуют MoE экспертов, чтобы меньше коррелировали.

Hiformer: Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems. Модифицируют аттеншн для нейросетевого ранжирования, чтобы учитывал гетерогенную природу признаков.

Large Language Models as Data Augmenters for Cold-Start Item Recommendation. С помощью LLM генерят данные для холодных айтемов и тюнят на них рекомендательную модель.

Long-Term Value of Exploration: Measurements, Findings and Algorithms. Исследуют как в A/B замерять эффект от эксплорейшна (делят выборки не только по юзерам, но и по айтемам), используют NeuralLinear бандитов для ранжирования.

Aligning Large Language Models with Recommendation Knowledge. Тюнят LLM на Masked Item Modeling и BPR в текстовом формате.

Cluster Anchor Regularization to Alleviate Popularity Bias in Recommender Systems. Делают иерархическую кластеризацию content-based эмбедов айтемов, добавляют на ее основе регуляризацию для сближания обучаемых векторов head/tail айтемов.

Diversifying by Intent in Recommender Systems. Предсказывают намерения пользователя (intent'ы), используют формулу полной вероятности. Каждый следующий айтем выбирают в предположении, что ранее выбранные интенты не подошли.

LLMs for User Interest Exploration: A Hybrid Approach. С помощью LLM предсказывают верхнеуровневые интересы, далее рекомендательной моделью ищут среди айтемов из этого интереса лучшие.

Много коллабятся с Youtube'ом; фокус на короткие видео (shorts). Киворды: long-tail, матрицы эмбедов, новизна, разнообразие, эксплорейшн, LLM, ранжирование, дебаясинг, RL.

Какая статья вам больше понравилась? Дайте знать в комментариях :)