Наконец-то добрался написать про RecSys Challenge 2025, в котором мне посчастливилось поучаствовать вместе с R&D-командой по рекомендательным системам Яндекса: Серёжей Макеевым, Владимиром Байкаловым, Алексеем Красильниковым, Владом Тыцким и Кириллом Хрыльченко. Отдельно хочется выделить Серёжу Макеева — он сражался как лев, особенно в последнюю неделю перед первым дедлайном и ещё 5 дней перед вторым. (Ага, не так страшны первые 90% проекта, как вторые)

Для тех, кто не в курсе: RecSys Challenge — это соревнование по рекомендательным системам, приуроченное к конференции RecSys 2025. В далёком 2015 году команда из Yandex Data Factory, в составе которой был Евгений Соколов, уже выигрывала это соревнование, так что мы в целом были настроены на победу тоже. Наше решение — ансамбль разных нейросетевых моделей плюс хендкрафт-фичи. Собственно, за хендкрафт отвечал я. Забавный факт: даже в нейросетевую эру хендкрафт всё ещё приносит ощутимый профит. Про это, конечно, рассказывали на лекциях ШАД по RecSys, но я не верил и как обычно плохо слушал. Теперь верю.

Соревнование продлили дважды: сначала с 10 июля по 25 июля — из-за дата-лика, потом ещё — с 25 по 30 июля. К последнему продлению я даже приложил руку. Да-да, именно я заставил коллег делать по 8 сабмитов в день на выходных. За несколько недель до конца соревнования заметил, что при локальном эвале по первой задаче метрика иногда улетает в небеса. При внимательном анализе оказалось, что метрики, по которым пересчитывается лидерборд, изредка считались на нулевой эпохе — то есть на случайно инициализированной нейросети — и тогда по первой задаче выскакивали аномально большие значения. На самом лидерборде такого поведения не было видно на тот момент — я успокоился и забил. Но за два дня до дедлайна в системе появились несколько посылок с невероятно высоким скором по первой задаче. Написал оргам 24 июля, те за день до дедлайна — они признали факап и пересчитали решения конкурентов. За это время мы ещё успели чуть-чуть поднять метрики. Наступил дедлайн, система перестала принимать сабмишены, игроки опубликовали топовые решения, которые до этого не светились на лидерборде, — и мы оказались на 4-м месте. Тут орги решили, что их мув с пересчетом решений за один день до дедлайна не совсем честный, и продлили дедлайн на 5 дней и увеличили число сабмишенов в день 🤡. У нас реально появился шанс залететь в призы, мы снова включились в работу, улучшили общий скор, но всё равно остались четвёртыми.

P.S. Второе место заняла команда из Сбера (ai_lab_recsys). Вот разбор их решения: https://vkvideo.ru/playlist/-229792778_-2/video-229792778_456239026?from=groups&gid=229792778.