Многостадийная модель дала Meta* 6% конверсий в Instagram* и предсказуемые законы масштабирования

Система ранжирования обязана достать и отсортировать тысячи объявлений за миллисекунды, перебирая миллионы кандидатов в секунду. Раньше это решалось гибридной схемой, где последовательности пользовательских событий обрабатывает одна модель, а разреженные признаки другая, со всеми вытекающими компромиссами.

В статье описаны два изменения: многостадийная модель последовательностей, разводящая тяжёлое офлайновое моделирование пользователя и лёгкое онлайновое ранжирование, и приём с плотной токенизацией и вниманием, учитывающим цель, который выучивает взаимодействия признаков прямо из данных.

Совокупный результат: плюс 6% конверсий в Instagram*, плюс 3% конверсий в Facebook* и плюс 3,5% кликов по рекламе в Facebook*. Всё это часть Generative Ads Recommendation Model.

*Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.