👀 Как мы обучаем трансформерные модели

Во многих сервисах есть RecSys, которая учится на действиях пользователя. Когда вы послушали песню и поставили лайк — AI порекомендует вам следующий трек по вашим предпочтениям. Кажется, что всё просто, но есть подводные камни.

Для RecSys раньше использовали BERT-подобные системы, которые неудобны в обучении: у каждого вопроса о прошлом пользователя — например, «С какой вероятностью он выбрал бы этот трек день назад?» — модель приходилось прогонять заново для каждого момента.

Сейчас мы используем ARGUS, который решает это на этапе обучения: модель прогоняется один раз, но сразу на все вопросы о прошлом пользователя. Это ускоряет обучение и помогает обучать модели чаще и в большем количестве, а значит, позволяет использовать модели большего размера и проводить намного больше экспериментов с архитектурой.

➕ Подробнее о том, как устроена RecSys сейчас и как работает авторегрессивное обучение, рассказал Даня Бурлаков, руководитель группы рекомендательных продуктов.

⏩️ Смотрите полный выпуск на ютубе или в VK Видео.

Подписывайтесь:
💬 @Yandex4Developers