#ML

Все же здесь DS и знают базовые метрики?
Precision?
Precision@k?
А ничего вы не знаете, канальи! 🙈

Прошло пару лет как коллеги со светлой стороны Сбера выпустили свою замечательную статью на NIPS, примечательную такой картинкой

Про то как в разных recsys либах метрики считаются по-разному 😱
Но хотя бы precision@k вроде одинаково? Или нет? 🤔

Рассмотрим угловой кейс – на что делить, когда кандидатов сгенерилось меньше k? 🤓

Правильный ответ здесь– делить на k !!!!
Институт NIST– National Institute for Standards and Technology распространяет код как считать правильно 🥳

На для catboost закон не писан – он делит на число кандидатов 🤬😡🥵

Будьте внимательны! Или перепроверяйте за пакетами или считайте сами!