Нейросетки, обученные с помощью pair-wise и list-wise лоссов, обеспечивают классное ранжирование в рекомендерах. При этом масштаб скоров модели получается непредсказуемым, например, при добавлении константы к скорам лосс не меняется. В условиях автоматического обновления модели фильтровать рекомендации по порогу из-за этого сложно – обучилась новая версия модели, и старый порог уже не подходит. Исследователи из Google придумали, как решить эту проблему, причем это дело пары строк кода в лоссе: калибровка происходит при обучении модели без дополнительных этапов пост-процессинга.

И самое классное - результаты статьи воспроизодятся! На графиках сравнение скоров нашего рекомендера друзей, обученного на данных разных дней. Без предложенной калибровки (слева) соотношение скоров в разные дни непредсказуемое, тогда как с калибровкой (справа) скоры получаются стабильными. Внезапно, разницы в метриках ранжирования между оригинальной и калиброванной моделями нет. Теперь не страшно использовать пороги!

Статья