В первый день RecSys все воркшопы битком.
Самые именитые исследователи, крутые инженеры, призеры соревнований из Сбера и ex-Яндекса, сильные доклады, сложный комбайны архитектур.
В решающий момент вспомнил что я-таки ближе к канальям и пошел в полупустой зал где хоть что-то понятное для нашего брата: 12th Joint Workshop on Interfaces and Human Decision Making for Recommender Systems.
Здесь доклады слабо похожи на технические, в которых куча экспериментов и ablation study, доверительные интервалы, оговорки о том что результаты верны именно на этих датасетах именно при таком протоколе валидации, и все прочее что вызывает доверие исследователей.
Вот эти восемь докладов (точнее, статей, по которым доклады):
https://ceur-ws.org/Vol-4027/paper1.pdf
https://ceur-ws.org/Vol-4027/paper2.pdf
https://ceur-ws.org/Vol-4027/paper3.pdf
https://ceur-ws.org/Vol-4027/paper4.pdf
https://ceur-ws.org/Vol-4027/paper5.pdf
https://ceur-ws.org/Vol-4027/paper6.pdf
https://ceur-ws.org/Vol-4027/paper7.pdf
https://ceur-ws.org/Vol-4027/paper8.pdf
Зато идеи меня порадовали (оставим в стороне llm для интерпретации рекомендаций), попробую поделиться:
Если загрузить скриншот рекомендательной системы в ChatGPT и задать правильные вопросы — можно получить ценный фидбек по интерфейсу.
Если пользователю дать ручки / ползунки для настройки рекомендаций, и еще и сигналов больше логировать, то результат будет гораздо лучше чем бесконечно тюнить модели.
Дать возможность пользователю не только рейтинг проставлять, но весь арсенал смайликов в качестве фидбека — полезно.
Serendipity можно выкрутить на максимум сохраняя точность, если модель поддержать еще и интерфейсом (в статье блоком «удиви меня» — все совпадение со сберовской платформой AmazeMe случайные)
Общая мысль: хватит бороться за 0.0001 прироста метрик моделями, они ограничены шумом в самих данных. Грамотный интерфейс и выстроенное взаимодействие с пользователем могут дать гораздо больше в плане бизнеса.
И еще одна мысль:
Групповые рекомендации сейчас нигде в индустрии не применяются (цитата в докладе по статье), хотя два доклада из восьми были про них (второй), однако заставило задуматься над известной цитатой
Лучшие умы занимаются рекламой, а могли бы космос покорять
Так вот, представить киберпанк, в котором групповые генеративные рекомендации формируют политическую волю электората — мягко говоря, несложно. И тот кто обладает такой компетенцией — будет Урфином нашим Джюсом.