https://arxiv.org/pdf/2507.22879
Ушел в отпуск, не успев закончить разбор OneRec, а тут уже вышел новый большой тех. репорт от Alibaba. Объемные публикации бигтеха меня всегда привлекают - если коммерческая компания, которой надо шипить прод, нашла время написать "большой красивый документ" с длинным списком авторов, значит как минимум гордится своим результатом.
В статье предлагается метод к построению рекомендательной системы на основе LLM.
1. Представить пользователя в виде текстового описания (базовые фичи типа пол / возраст + история действий).
2. С помощью LLM выделить "интересы" пользователя (например "Parenting & Baby Care"), обновлять их с задержкой в сутки.
3. С помощью LLM из "интересов" выделить "тэги" (например "Baby Bath Temperature Sensor").
4. С помощью очень лёгкой 3-tower DNN посчитать релеантность "тэга" товару и товара пользователю. Это единственное место всего пайплайна, в котором используются логи сервиса!
5. С помощью LLM сгенерить объяснение к каждой рекомендации.
LLM здесь не выступает ни как рекомендательный индекс, ни как генератор итоговой выдчи, она лишь суммаризует предпочтения и генерирует объяснения. Дообучение языковых моделей происходит регулярно, но только на LLM as a judge разметку.
Утверждают, что заменили таким подходом старую рекомендательную систему на главной странице Taobao. Приводят впечатляющие результаты АБ теста.
To the best of our knowledge, we are the first to deploy a reasoning-enhanced hundred-billion-scale recommendation foundation model in industrial applications serving over a billion consumers and items
Авторы статьи уже представили аналогичную на KDD'25. В ней репортят выкатку на ту же поверхность, но в качестве дополнительного генератора кандидатов, без отказа от старого стека. Методы в обеих статьях идейно похожи, но детали отличаются значительно.
Один из core contributors RecGPT кстати также является соавтором BERT4Rec.
До сих пор ко всем статьям про LLM как рекомендер я относился с большим скепсисом:
➖ Результаты часто приводятся на открытых данных, без проверки в реальном проде. К академическим датасетам у меня и так мало доверия, а в случае с LLM они ещё и могут протекать в обучение.
➖ Описание пользователей и документов в виде текста выглядит избыточным. Представление пользователя в такой постановке доходит до сотен тысяч токенов.
➖ Языковые модели обладают inductive bias в сторону того, как люди интерпретируют процесс построения рекомендаций, что не обязательно совпадает с настоящими предпочтениями пользователей.
➖ Любые достаточно мощные LLM всё ещё слишком вычислительно тяжелы, чтобы удовлетворять требованиям по задержке, пропускной способности и экномической целесообразности в web-scale продуктах, если речь идёт о применении в реальном времени.
Есть у LLM-based подхода и существенные плюсы:
➕ Интерпретируемый процесс построения рекомендаций позволяет уменьшить feedback loop.
➕ Возможность построить объяснимые рекомендации с персонализированным reason to believe.
➕ Обширные знания о мире усиливают способность модели к генерализации, особенно на холодных документах и тяжёлом хвосте.
Для меня достаточно удивительно, что настолько ручной подход, ещё и с суточными задержками, может побить бейзлайн важной поверхности бигтех компании. В целом Alibaba делает шаг в сторону от end2end системы, к которой мы стремимся. Верю, что рекомендации рано или поздно должны стать ещё одной модальностью универсальной модели (ради чего, вроде как, semantic ids и затевались), но до сих пор не видно примеров успешной реализации этой идеи, а RecGPT нас к этому будущему, к сожалению, не приближает.