Для тех, кто следит за развитием рексистем, не новость, что сейчас проходит одна из ведущих международных конференций в этой области — ACM RecSys. У моей команды в этом году представлено 4 работы на этой конференции (1 статья в Reproducibility и 3 статьи в секции Late-breaking Results). О них я еще отдельно упомяну. Но пока напишу про занятное совпадение.

Буквально спустя час после моего предыдущего поста, на конференции прозвучал доклад от команды музыкального сервиса Deezer про использование LLM для построения «вкусового профиля» пользователя. Сам доклад был скорее про анализ возможных смещений в получаемом результате. Но авторы в том числе затронули и тему учета обратной связи от пользователя для формирования более точного описания его вкусов. Картинка в этом посте как раз иллюстрирует, что имеется в виду (автор доклада любезно предоставил ее мне по запросу и разрешил пользоваться).

Но итоговые результаты работы были как раз подтверждением озвученного мной тезиса — одной лишь LLM не обойтись. В частности, авторы показали, что LLM в целом плохо справляются с пониманием интересов пользователя. Исключения наблюдались лишь в двух случаях: для specialist users, т.е. пользователей с очень конкретными интересами и небольшой историей прослушивания, а также для пользователей старшего возраста, склонных слушать хорошо известные трэки. А вот для молодых пользователей сервиса, преимущественно слушающих что-то современное и имеющих нюансированные вкусы, создать точный профиль не удавалось.

Исследование Deezer наглядно показывает границы применимости LLM в реальных условиях. Большие языковые модели, с одной стороны, служат источником глубокого понимания мира, но с другой — не подходят напрямую для работы в высокодинамичных условиях, т.е. в естественной «среде обитания» рекомендательных систем. Для создания по-настоящему персональных ассистентов будущего потребуется более глубокая интеграция разных методов и подходов.