#ML

В комментариях под предыдущим постом про лоссы Саша Ледовский (тимлид топовой high load ml-команды Авито) поддержал тезисы поста и привел пример своих кейсов когда даже бизнес-метрики на собеседовании были бы далеко не очевидны, не говоря уже и про лоссы.

Приведу другой пример — представим, что несчастный получил задачу на рекомендашки, и, согласно методичке, до всяких офлайн-метрик бодро выбрал модель назвал WARP-loss. Тут же получит:

- почему именно такой?
- а почему лосс именно ранжирующий? Почему не BCE на L2? ты еще не определил релевантность
- почему не BPR-loss? Какие между ними возможны трейдоффы? По качеству и перфомансу?
- а сколько надо рекомендовать?
- а под что такая модель обучится? вдруг это контентные рекомендации и там лютый popbias?
...
Короче, вот точно бы не туда дискуссия пошла -- даже если бы интервьюер промолчал, пришлось бы к этому вопросу возвращаться с поздних этапов.
Модель -- это инструмент, выбор лосса -- настройка инструмента. Онлайн метрика -- цель, офллайн -- прокси на нее.

PS: кстати, Саша давно ведет свой, наполненный оптимизмом и абсолютно личным опытом канал
PPS: а еще Саша — классный коллега, работали пару лет в соседних структурах одной организации