Музыкальный датасет Яндекса – фаворит для мировых экспериментов в RecSys 😳

Исследователи Meta* предложили «генеративный верификатор» — маленькую модель, которая перепроверяет шорт-лист готовой системы отбора кандидатов и вытаскивает наверх то, что та задвинула вниз. Саму систему при этом не трогают: ни переобучения, ни пересборки индекса.

Тестировали на двух бенчмарках — товарах Amazon и открытом YaMBDa от Яндекс Музыки (обезличенные прослушивания в трёх размерах: 50 млн, 500 млн и 5 млрд взаимодействий).

И вот тут началось интересное:
🟢 Чем крупнее каталог, тем сильнее эффект: на максимальном масштабе — 5 млрд взаимодействий и 5,4 млн треков — Recall@10 у всех трёх моделей вырос на 25–30%. На Amazon, где каталог — пара тысяч товаров, прибавка куда скромнее: 6–15%.

🟢 Вывод Meta*: на гигантских каталогах стандартные ретриверы захлёбываются правдоподобным мусором в топе — и тут выручает дополнительная проверка кандидатов.

Такие дела: без наших датасетов никуда.

Статья тут 😎

*запрещенная в РФ организация