#papers #news #industry
OneSearch: A Preliminary Exploration of the Unified End-to-End Generative Framework for E-commerce Search
AB results ✅, Source code ❌

Проблема
Многостадийность поисковых систем увеличивает фрагментацию вычислений и несогласованность таргетов.

Результат статьи
End-to-End генеративная поисковая модель в маркетплейсе Kuaishou показала рост CTR на +1.67% и покупок на +2.40% в AB. При этом повысила утилизацию GPU с 3.26% до 27.32%.

Как достигли
1. Базовый контентный эмбеддер обучается на коллаборативный таргет (q2i, q2q, i2i) и LLM-разметку релевантности. Из контентного эмбеддинга товара генерируются три семантических ID с помощью RQ K-means, оставшаяся невязка аппроксимируется двумя OPQ ID (для устранения коллизий между айтемами).

2. В энкодер подается запрос пользователя, долгосрочная история покупок, краткосрочная история кликов и RSU (Relevance Search Unit). Эти данные также представляются в виде семантических ID, агрегированных с затуханием по времени.

3. Все компоненты объединяются в предобученной архитектуре BART. Модель проходит несколько стадий дообучения на простые задачи (предсказать семантические ID по запросу, восстановить текст из ID, классифицировать категорию товара по ID, ...). После дообучается на реальный фидбек пользователей и предсказания reward модели со скором релевантности. Предобучение происходит раз в неделю, DPO дообучение near real-time.

P.S.
Конечно, к статье остаются вопросы.
Например, разметка асессоров, по которой выдача OneSearch на 1-2% релевантнее многостадийной, производилась всего на 200 случайных запросах.
А итоговый алгоритм раскатили только на 20% трафика домашней страницы.

В любом случае, статья OneSearch продолжает One-линейку: OneRec, OneSug, OneRec TR, OneLoc, OneRec-V2 TR.
Ваши ставки, что дальше? OneAds? OneOne?

@ds_league