Чем мне нравится преподавать на физтехе и в вышке — студенты могут задать вопрос, на который сходу и не ответишь.
Вот и сегодня c семинара по рекомендашкам я ушел с домашним заданием —
«есть ли теоретические предпосылки к тому что оптимизируя BCE мы растим nDCG?»
При том что рассказать про связь BCE с ROCAUC, Precision и Recall проблем не составило, здесь я задумался.
Сначала сделаю оговорку, что можно оптимизировать сразу аппроксимацию nDCG:
ApproxNDCG
NeuralNDCG
Для торча оба лосса есть в allRank
Для любителей TF
Итак, ответ на вопрос студента в этой статье с NIPS 2009 года
В уравнении (2) pointwise loss чуть в более общем виде написан, но сразу после формулы указано что функцией ф может быть и сигмоида (что и приводит нас к BCE), а далее несколько страниц доказательства связи минимизации лоссов с максимизацией ранжирующих метрик (для примера в статье взяли MAP и nDCG) -- ровно то что нужно!.
Приятного вечернего чтения!
Под формулы так хорошо засыпается 😴