Свет из чёрного ящика

[2608.11015] Sona Technical Report
https://arxiv.org/abs/2608.11015

Кульминация года работы, в результате которой нам удалось заменить весь стек рекомендаций Яндекс Музыки на единую модель, а профит превзошел все смелые ожидания.

Как нам это удалось:
1. Масштабируемая архитектура
Encoder-decoder, обучающийся хронологически на задачу Next Token Prediction без единой ручной фичи. Одной из самых сложных частей было сделать рецепт токенизации, который бы обеспечивал рост качества при росте словаря и числа токенов на документ.

2. Единая модель кандидат-генерации и ранжирования
OneRec ранжирует кандидатов отдельной моделью, причем с использованием ручных фич. Мы же стремились к совместному рецепту обучения и инференса. Проблема в том, что задача ранжирования слишком спарсовая и модель просто не обучается выполнять ее достаточно хорошо. Решение - сжать год данных в ранжирующую модель, обучающуюся авторегрессивно, дистиллировать эти знания в совместную модель.

3. Инфраструктура обучения и инференса
Любые большие изменения в ML приводят к настолько же большим изменениям в инфраструктуре. Нам пришлось фактически построить новый движок рекомендаций с нуля. Очень важной компонентой стало online обучение: end-to-end путь события от возникновения до обновления модели в инференсе укладывается в 1 час в 99perc.

По пути было безумное число А/Б-тестов (в репорте лишь вершинка айсберга), ночей без сна и выходных без отдыха, а также радостных моментов, когда метрики из огромного минуса становились минусом чуть меньшим.

Это было очень непростое и очень веселое приключение. Над проектом работала большая часть команды R&D рекомендаций, команда Яндекс Музыки и еще очень много людей, всех не перечислить, которые помогали и поддерживали нас. Всем огромное спасибо, вы лучшие!

[2608.06213] Gryphon-v2: One Model in Place of a Cascade - Generate-and-Rank Recommender with Rollout Distillation
https://arxiv.org/abs/2608.06213

как говорил классик, хороший камбек должен быть тщательно подготовлен

Читала сегодня в ИТМО лекцию по Semantic IDs и Generative Retrieval в рамках курса по продвинутым рекомендательным системам.

Первый опыт, когда материал для лекции я собирала с нуля - на основе большого количества статей по теме. А сами статьи перед этим много и подробно разбирали внутри команды. Было здорово разложить наконец всё по полочкам)

Материалом делюсь

Свет из чёрного ящика

Когда я запускал этот канал, то писал, что буду рассказывать об успехах и неудачах нашей команды. Однако до сих пор речь в основном шла о том, что происходит в индустрии. Настало время поделиться апдейтами 🙂

За последние полгода наша команда полностью перестроилась на R&D. Направлений исследования стало больше, они расширяются.

Чем мы занимаемся последнее время:

* Адаптировали Argus и Deep Ranker к самой большой рекомендательной системе Яндекса, получились очень классные внедрения.
* Разработали новую Target-Aware архитектуру с авторегрессивным обучением, компрессией истории и дистилляцией. Получили солидные приросты по оффлайн метрикам, будем внедрять.
* Строим одностадийную генеративную рекомендательную систему. Задача по-настоящему сложная, многоаспектная. Пока удалось только приблизиться к существующему стеку, но не обогнать его.
* Объединяем рекомендации и LLM. Направление очень молодое и высокорисковое, хотя черри-пики текущей модели меня уже довольно сильно впечатляют.

Наша мечта:

* Посторить одностадийную генеративную рекомендательную систему.
* Объединить рекомендации разных продуктов в одной фундаментальной модели.
* Встроить рекомендации как новую LLM модальность.

Революционные подходы не внедряются за один день, поэтому важно не отставать и в более классических технологиях.

* Надо адаптировать Argus к генерации кандидатов. В этой задаче у него до сих пор был ограниченный успех.
* Будем объединять Argus и Deep Ranker в одну модель. В обзоре статей за 2025 год был целый раздел про такие нейросети. Примерно все большие игроки уже реализовали. Надо догонять.
* Применим наши наработки в semantic ids и генеративных моделях в качестве дополнительного источника кандидатов.

Команда сейчас активно расширяется, можно к нам попасть. Ищем senior и senior+ инженеров, а также лидов с опытом в DL (любом), recsys, CUDA. Начинающих специалистов тоже рассматриваем, но только с какими-то существеными индивидуальными достижениями: научными публикациями, результатами на олимпиадах, высоким средним баллом в ШАДе итп.

Очень ищем людей, которые увлечены тем же, чем и мы 🙂 Приходить можно ко мне в личку (@NikolaySav)

Пока у нас новый год и праздники, компании из Китая продолжают выкладывать очень интересные работы, так что выходные можно провести с пользой.

* OxygenREC: An Instruction-Following Generative Framework for E-commerce Recommendation

JD.com опубликовала работу про внедрение end2end генеративной рекомендательной системы в разные поврехности их маркетплейса. Результаты АБ-тестов впечатляют. Куча технических подробностей, мы в команде уже разбираем детали.

* OpenOneRec Technical Report

Kuaishou написали работу про объединение LLM и генеративной рекомендательной системы. Идейно статья похожа на OneRec-Think, однако в новой публикации делают не только претрейн, но и алайнмент. Кроме того, выкладывают в open source код обучения, датасеты и саму модель!

Подборка статей 2025 (часть 3)

Attention-based ranking
- LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders
- TransAct V2: Lifelong User Action Sequence Modeling on Pinterest Recommendation
- Twin-Flow Generative Ranking Network for Recommendation
- InterFormer: Effective Heterogeneous Interaction Learning for Click-Through Rate Prediction
- MARM: Unlocking the Recommendation Cache Scaling-Law through Memory Augmentation and Scalable Complexity
- GReF: A Unified Generative Framework for Efficient Reranking via Ordered Multi-token Prediction
- RankMixer: Scaling Up Ranking Models in Industrial Recommenders
- Climber: Toward Efficient Scaling Laws for Large Recommendation Models
- MTGR: Industrial-Scale Generative Recommendation Framework in Meituan
- Action is All You Need: Dual-Flow Generative Ranking Network for Recommendation
- Make It Long, Keep It Fast: End-to-End 10k-Sequence Modeling at Billion Scale on Douyin
- OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender
- Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders
- Practice on Long Behavior Sequence Modeling in Tencent Advertising
- Pyramid Mixer: Multi-dimensional Multi-period Interest Modeling for Sequential Recommendation
- Adaptive Domain Scaling for Personalized Sequential Modeling in Recommenders
- From Features to Transformers: Redefining Ranking for Scalable Impact
- From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction
- Meta Lattice: Model Space Redesign for Cost-Effective Industry-Scale Ads Recommendations

Non-Two-Tower retrieval
- Autoregressive Generative Retrieval for Industrial-Scae Recommendations at Pinterest
- MPFormer: Adaptive Framework for Industrial Multi-Task Personalized Sequential Retriever
- MISS: Multi-Modal Tree Indexing and Searching with Lifelong Sequential Behavior for Retrieval Recommendation
- Sparse Meets Dense: Unified Generative Recommendations with Cascaded Sparse-Dense Representations
- Bidding-Aware Retrieval for Multi-Stage Consistency in Online Advertising
- Equip Pre-ranking with Target Attention by Residual Quantization
- GRank: Towards Target-Aware and Streamlined Industrial Retrieval with a Generate-Rank Framework
- SilverTorch: A Unified Model-based System to Democratize Large-Scale Recommendation on GPUs
- DualGR: Generative Retrieval with Long and Short-Term Interests Modeling
- An Efficient Embedding Based Ad Retrieval with GPU-Powered Feature Interaction
- Hierarchical Structured Neural Network: Efficient Retrieval Scaling for Large Scale Recommendation

Подборка статей 2025 (часть 2)

Фундаментальные модели
- PinFM: Foundation Model for User Activity Sequences at a Billion-scale Visual Discovery Platform
- Large Foundation Model for Ads Recommendation
- Foundation Model for Personalized Recommendation
- Meta’s Generative Ads Model (GEM): The Central Brain Accelerating Ads Recommendation AI Innovation
- Realizing Scaling Laws in Recommender Systems: A Foundation–Expert Paradigm for Hyperscale Model Deployment
- External Large Foundation Model: How to Efficiently Serve Trillions of Parameters for Online Ads Recommendation
- Meta Lattice: Model Space Redesign for Cost-Effective Industry-Scale Ads Recommendations

Мультимодальность и Semantic Ids
- VL-CLIP: Enhancing Multimodal Recommendations via Visual Grounding and LLM-Augmented CLIP Embeddings
- Enhancing Embedding Representation Stability in Recommendation Systems with Semantic ID
- Progressive Semantic Residual Quantization for Multimodal-Joint Interest Modeling in Music Recommendation
- QARM: Quantitative Alignment Multi-Modal Recommendation at Kuaishou
- BiListing: Modality Alignment for listings
- DAS: Dual-Aligned Semantic IDs Empowered Industrial Recommender System
- Sparse Meets Dense: Unified Generative Recommendations with Cascaded Sparse-Dense Representations
- MOON Embedding: Multimodal Representation Learning for E-commerce Search Advertising
- MOON2.0: Dynamic Modality-balanced Multimodal Representation Learning for E-commerce Product Understanding
- LEMUR: Large scale End-to-end MUltimodal Recommendation
- STORE: Semantic Tokenization, Orthogonal Rotation and Efficient Attention for Scaling Up Ranking Models
- Multi-Aspect Cross-modal Quantization for Generative Recommendation
- Personalized Multi Modal Alignment Encoding for CTR-Recommendation in WeChat
- Generative Recommendation with Semantic IDs: A Practitioner’s Handbook
- CoFiRec: Coarse-to-Fine Tokenization for Generative Recommendation
- Generating Long Semantic IDs in Parallel for Recommendation
- A Simple Contrastive Framework Of Item Tokenization For Generative Recommendation
- Learnable Item Tokenization for Generative Recommendation
- SIDE: Semantic ID Embedding for effective learning from sequences
- ActionPiece: Contextually Tokenizing Action Sequences for Generative Recommendation

Подборка статей 2025 (часть 1)

Как и обещал, выкладываю подборку статей по темам, которые освещал на выступлении.

End2End
- OneRec: Unifying Retrieve and Rank with Generative Recommender and Iterative Preference Alignment
- OneRec Technical Report
- OneRec-V2 Technical Report
- OneLoc: Geo-Aware Generative Recommender Systems for Local Life Service
- OneSug: The Unified End-to-End Generative Framework for E-commerce Query Suggestion
- OneSearch: A Preliminary Exploration of the Unified End-to-End Generative Framework for E-commerce Search
- UniSearch: Rethinking Search System with a Unified Generative Architecture
- EGA-V1: Unifying Online Advertising with End-to-End Learning
- EGA-V2: An End-to-end Generative Framework for Industrial Advertising
- GPR: Towards a Generative Pre-trained One-Model Paradigm for Large-Scale Advertising Recommendation

LLM + RecSys
- PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations
- OneRec-Think: In-Text Reasoning for Generative Recommendation
- Align3GR: Unified Multi-Level Alignment for LLM-based Generative Recommendation
- GFlowGR: Fine-tuning Generative Recommendation Frameworks with Generative Flow Networks

Масштабирование
- LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders
- Scaling Generative Recommendations with Context Parallelism on Hierarchical Sequential Transducers
- Twin-Flow Generative Ranking Network for Recommendation
- InterFormer: Effective Heterogeneous Interaction Learning for Click-Through Rate Prediction
- MARM: Unlocking the Recommendation Cache Scaling-Law through Memory Augmentation and Scalable Complexity
- TBGRecall: A Generative Retrieval Model for E-commerce Recommendation Scenarios
- RankMixer: Scaling Up Ranking Models in Industrial Recommenders
- Climber: Toward Efficient Scaling Laws for Large Recommendation Models
- MTGR: Industrial-Scale Generative Recommendation Framework in Meituan
- Action is All You Need: Dual-Flow Generative Ranking Network for Recommendation
- Meta’s Generative Ads Model (GEM): The Central Brain Accelerating Ads Recommendation AI Innovation
- OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender
- Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders
- From Features to Transformers: Redefining Ranking for Scalable Impact
- From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction
- Scaling Transformers for Discriminative Recommendation via Generative Pretraining
- Meta Lattice: Model Space Redesign for Cost-Effective Industry-Scale Ads Recommendations

ML Global Recap'25

Готовлю выступление на наш митап ML Global Recap. Расскажу там по-подробнее, как я вообще вижу текущие тренды в рекомендациях, куда идут разные компании и что рассказали на конференциях в этом году. По-подробнее расскажу, что было на RecSys (я на него не ездил, но от нашей команды была большая делегация) и на CIKM, добавлю каких-нибудь инсайдов.

Кроме меня выступит Лёша Гусаков, наш CTO, с рассказом про NeurlPS, а также лиды CV, NLP и Speech команд с рассказами про тренды в их областях. Должно быть интересно!

Презентацию скину в канал, но лучше приходите послушать лично. Пообщаемся после выступления в куллуарах 🙂

Ссылка на регистрацию

CIKM'25 recap

Для меня это первый опыт поездки на CIKM и надо сказать, что конференция показалась мне в разы более полезной, чем RecSys. У обеих нет статуса A*, но CIKM отличается более лайтовым ревью работ. Например там нет ограничений на публикацию статьи до самой конфы. Казалось бы, такой подход должен привести к негативному отбору, но по факту на конференцию привозят большое количество отличных индустриальных и прикладных работ, которые не прошли по критериям научности в другие места.

Несколько заметок на полях по результатам поездки:

1. Тренд на Target Aware архитектуры в ранжировании
Компании переходят от классических deep ranker архитектур, основанных на feature interaction, к моделям с использованием раннего связывания с историей пользователя (InterFormer, RankMixer, MTGR, TransAct V2).

Общая идея:
- Используем сырую историю событий как вход в модель
- В attention нужно подставить как историю, так и самого кандидата (в виде одного или нескольких токенов)
- Сохраняются классические ручные признаки

Тренд появился не вчера, но все ещё не стихает. Мы в Яндексе тоже внедряем такие модели. На PML'25 как раз был доклад об этом от Пети Зайделя из команды Музыки.

2. Конкуренция на китайском рынке рекомендательных систем
По статьям прослеживается, насколько китайский рынок конкурентен. Как минимум 3 популярные платформы коротких видео (Douyin, Kuaishou, Weixin Channels) и 2 крупных ecom сервиса (Meituan и Taobao) привезли свои работы.

Кроме того, на CIKM приехали ребята из NetEase Cloud Music - 2й по популярности платформы музыкального стриминга в Китае. Говорят, что читают наши статьи и активно пользуются датасетом, попросили сфотографироваться 🙂
Доклады у них кстати тоже были неплохие: Climber про target-aware transformer и работа про semantic ids.

Ещё один интересный инсайт про конкуренцию: компании скрывают настоящих авторов своих работ, чтобы тех не захантили конкуренты! Узнали мы это из приватного разговора в куллуарах 🙂

3. Тренд на end2end системы только набирает обороты
Я здесь много пишу про то, что мы верим в end2end генеративные рекомендтельные системы и строим такую у себя (поделюсь кстати в ближайшее время, как у нас с этим дела). Meituan привез на конференцию работу про свою реализацию - EGA v1. Несмотря на то, что работа выпущена весной этого года, из слайдов мы узнали, что АБ тест провели уже больше года назад! Надо догонять 🙂

На конференции были ребята из core команды OneRec. Удалось узнать у них много деталей, которых нет в статьях. Западные команды тоже вдохновились работой и пытаются нагнать. Говорят, основные сложности лежат в инфраструктуре. По нашему опыту это действительно непростая часть.

Ещё немного инсайдов:
- Pinterest не переобучают и не дообучают свой PinRec, хотя в модели используются item id. Очень неожиданно и даже странно
- PinnerFormer не используется как кандидат-генератор, только как фича в downstream моделях
- TransAct V2 переобучают раз в неделю, но со случайных весов
- Для построения semantic ids в OneRec использовали всего 200 GPU 🗿

CIKM'25

В этом году я решил не ехать на RecSys, зато лечу на CIKM в Сеул. Не все слышали про эту конференцию, хотя на ней публикуются очень многие хорошие работы.

В программе этого года самые интересные (на мой взгляд) работы от Pinterest (TransAct V2 и PinRec), несколько работ от команды OneRec из Kuaishou (например QARM про способ токенизации и Pantheon, который они используют в качестве reward модели), а также end2end генеративная рекламная система от Meituan (самой большой доставки еды в мире).

Постараюсь привезти какие-нибудь инсайты, которыми поделюсь в канале.

Yandex Cup

Пока я немного погряз в работе и запусках (надеюсь очень скоро будет, чем поделиться в канал), напишу здесь про Yandex Cup. В этом году пересобрали ML трек, задачи должны стать интереснее, а финал пройдет в Стамбуле.

Если интересно попробовать свои силы, еще остается несколько дней на регистрацию:
https://yandex.ru/cup

Презентация с сегодняшнего выступления

Всем спасибо, кто дошел, было приятно видеть полный зал!

PML

Выступаю завтра на PML с рассказом про опыт внедрения генеративных моделей в нашу экосистему. Постарался подготовить очень практический материал, который можно будет применить в вашей компании. Должно быть полезно, даже если у вас нет большого числа видеокарт и намерения строить end2end генеративные рекомендации.

Оффлайн билетов уже нет, но можно посмотреть трансляцию:
https://pmlconf.yandex.ru/2025/

Oral от Саши на RecSys 🔥

Подпишитесь на канал Даши Тихонович, если интересно читать про актуальные рекомендательные технологии.

А ещё прочитайте eSASRec, где Даша - первый автор. Достойная работа, которая принята на RecSys ’25!

Генеративные рекомендации III. Хайп и хаос

Меняя компанию, я успела походить по собесам в области RecSys DL, и в одной из секций всегда всплывали генеративные рекомендации. Тема сейчас настолько хайповая, что в терминологии полный хаос, который идёт к нам ещё из научных статей. Пара примеров понимания "генеративных рекомендаций" из статей 23-25 годов:

“The first generative recommendation system in the literature” – хочет назвать известная компания свою же прошлую архитектуру из “Actions…” (ICML'24). Сподвигает их к этому предложение "Generative Recommender", но их парадигма по сути только заменяет концепцию обучения с impression-based на авторегрессивную, не меняя ни задачи модели, ни способ инференса.

"In the paradigm of generative recommendation, the primary objective is to predict the next item a user is likely to interact with" - хочет написать Huawei в препринте этого года. И приписывает таким образом пальму первенства генеративных рекомендаций ванильному SASRec из 2019 года (а то и BERT4Rec из 2018). Мотивация Huawei понятна: они обновляют архитектуру трансформера для простой Shifted Sequence модели (как это делают FuX-α, HSTU, eSASRec и пр.), не меняя концепцию обучения или задачи инференса. Но подчеркнуть актуальность статьи нужно, “Generative” в название статьи добавить хочется, и потому возникает такой вот финт, причём применяется он сейчас в статьях часто. Под "Generative" в заголовке статьи 2024-25 года часто будет скрываться именно авторегрессивная постановка обучения, без концептуальных нововведений на уровне моделирования. Разве что каузальная маска внимания может быть чуть видоизменена под конкретную задачу, как в "Generative Rankers" из моего прошлого поста.

“We propose a generative Next-K strategy, where recommendations are generated item-by-item” – пишет Саша Петров с соавтором в "Generative Sequential Recommendation..." (SIGIR’23). Тут реализуется простая идея: айтем, сгенерированный авторегрессивной моделью, можно подставить в последовательность и продолжить генерировать рекомендации дальше. Помимо жадной генерации есть и другие стратегии. Интуитивно очень понятный подход, и тут он «генеративный» уже в прямом смысле слова, без оговорок. Но хайпует сейчас другое.

“We propose a new paradigm ... Instead of traditional query-candidate matching approaches, our method uses an end-to-end generative model that predicts the candidate IDs directly.” – пишет Google в статье про TIGER (NeurIPS’23). TIGER использует полноценную энкодер-декодер архитектуру и обучается генерировать один следующий айтем (состоящий из набора иерархических semantic ids) для пользователя с заданной историей (в которой также каждый айтем представлен как набор semantic ids). Результаты на публичных датасетах у этой модели легко бьются простым SASRec с gBCE или SS лоссом, но важно далеко не это. Открывается целое направление в RecSys ресёрче:

“We propose OneRec, which replaces the cascaded learning framework with a unified generative model. This is the first end-to-end generative model” - пишут KuaiShou в препринте OneRec (2025). В данном случае одна модель заменяет собой все стадии индустриальных рекомендательных пайплайнов от кандидато-генерации до ранжирования. Прямая генерация айтемов по семантическим айди повторяет идею TIGER, так что в первом приближении модель относится к кандидато-генерации ("Generative Retrieval"). Но использование RL подходов в серии статей “One…” от KuaiShou
позволяет моделям дообучаться на максимизацию приносимого ими профита. По сути, это инкорпорация сразу и ранжирующего сигнала (конверсии в целевые действия - на которые учатся ранжирующие модели), и даже более общего экономического сигнала сразу в единую модель. Что в идеальном мире позволяет ей быть end-to-end генеративным рекомендательным движком, затюненным на полезность в сервисе. Так что законно задаёмся вопросом – не это ли RecSys будущего?

Про серию “One…” можно почитать хардовые разборы у Коли Савушкина из Яндекса и поучаствовать в ближайших ридинг группах VK.

Написал разбор свежей статьи от Alibaba о фундаментальных моделях. Эта тема меня очень интересует, хотя подход, основанный на ручных признаках, не тот, который мы используем в своей работе.

Обязательно подпишитесь на Рекомендательную: там публикуются разборы актуальных статей, и очень часто их делают ребята из нашей команды.