Хотел здесь разобрать свежую статью от Alibaba про скейлинг рекомендательных трансформеров: Scaling Transformers for Discriminative Recommendation via Generative Pretraining, но тут неожиданно Kuaishou дропнули крайне подробный тех. репорт про OneRec, который мы в команде подробно изучали всю неделю.

Kuaishou - очень популярная в Китае платформа коротких видео, главный конкурент Douyin от ByteDance. Помимо просто развлекательной платформы они делают Kling AI - стартап про генерацию видео, собственный E-commerce, а также local life services (в Китае так называют сервисы типа Яндекс Еды, Лавки, аренду самокатов и другой online-to-offline).

Немного цифр для понимания масштаба компании:
- >400 млн DAU
- >700 млн MAU
- 135 млн MAU платящих пользователей e-commerce направления
- 400k RPS в пике

Кроме того, компания очень прокачана в области рекомендательных систем и регулярно рассказывает о своих исследованиях в статьях и на топовых конференциях:
- Reinforcing User Retention in a Billion Scale Short Video Recommender System
- TWIN: TWo-stage Interest Network for Lifelong User Behavior Modeling in CTR Prediction at Kuaishou
- TWIN V2: Scaling Ultra-Long User Behavior Sequence Modeling for Enhanced CTR Prediction at Kuaishou
- KuaiFormer: Transformer-Based Retrieval at Kuaishou

Например лид группы OneRec Guorui Zhou, крайне опытный специалист по рекомендательным системам, раньше работал в Alibaba (Kuaishou входит в их группу компаний) и из-под его пера вышли довольно важные работы, например DIN.

Первый тех. репорт про OneRec вышел ещё в феврале, но там было сильно меньше подробностей и больше вопросов к результатам. В новой же работе очень много деталей и большинство наших сомнений она развеяла. По объему, детализации и формату очень напоминает тех. репорты от DeepSeek (v1, v2, v3, R1).

Самый крутой и важный результат работы: стандартную каскадную рекомендательную систему заменют на одну генеративную нейросеть! Будущее наступает быстрее, чем мы этого ждали 🙂
Ещё один крайне важный результат - утверждается, что операционные расходы на новую систему в 10 раз меньше, чем на старую!

Говорят, что заменили на OneRec 25% трафика своего главного приложения и 100% трафика Local Life Service. В последнем получают какие-то невероятные +17.89% GMV, непонятно, насколько высоким был бейзлайн. В основной же поверхности получили +1.98% Watch Time, +2.43% лайков и +5.27% комментариев. Отличные цифры для настолько развитой платформы (значительно выше, например, чем от внедрения KauiFormer), хоть и внедрение на 25% трафика (и 100% пользователей) немного читерское.

Scaling laws тоже показывают, масштабируя свои модели до 2b (с MoE)! Вот и демонстрация, что на 1b наша область уже точно не остановится. В их случае модель насыщается на датасете, собранном за буквально несколько дней логов (18 млрд сэмплов в день)!

В один пост разбор такой работы явно не поместится. В ближайшее время буду постить сюда свои мысли об отдельных частях.