🔗 Грифон: как мы адаптируем LLM-принципы в рекомендательных системах

Всем привет, это Дарья Тихонович из службы рекомендательных технологий в Яндекс R&D. Мы с командой разрабатываем новые семантические, генеративные и фундаментальные технологии для рекомендательных систем.

🔛 Одна из наших задач — адаптировать в рексистемах предсказательный принцип LLM. Только мы хотим предугадывать не слова, а айтемы и тренируем модели не на тексте, а на поведении пользователей.

Но в отличие от LLM со словарём в 100–200 тысяч токенов, нам нужно генерировать айтемы из многомиллионных каталогов. В таких условиях честный softmax недостижим. Поэтому мы учим модель генерировать айтемы через их семантические представления — Semantic ID.

✨ В работе над моделью для Яндекс Музыки мы столкнулись с набором сложностей: похожие треки получали одинаковые идентификаторы, а ошибка в самом начале генерации приводила к неоптимальным траекториям в финальном ответе модели. Нашим решением стала гибридная генеративно-ранжирующая архитектура, которую мы назвали «Грифон».

👷 Самое главное про Грифона мы собрали в карточках, а все подробности смотрите в полной записи доклада на Data Fest.

Подписывайтесь:
💬 @Yandex4ML
📹 @YandexML