Почему наша первая нейросеть проиграла CatBoost

Мы хотели заменить CatBoost нейросетью в рекомендациях на главной Авито. Расчёт был простой: данных много, эмбеддинги хорошие, значит, модель выиграет за счёт масштаба.

Первый A/B-тест ушёл в минус: −6% пользователей с контактами. Вторая и третья модели тоже проигрывали CatBoost.

Чтобы найти, что даёт рост, понадобилось пять итераций. В статье разбираем:

✨ какой лосс заменил бинарную кросс-энтропию и до сих пор работает в проде;
✨ почему общая офлайн-метрика скрывала просадку по контактам;
✨ что дала история пользователя в трансформере.

В итоге +4,3% пользователей с контактами из рекомендаций и +0,8% пользователей, совершивших сделку.

Читать на Хабре

Больше про DS в Авито пишем в канале «Доска AI-объявлений».