Kaggle Staff сегодня анонсировали новую функциональность для организаторов соревнований - кастомизация метрик! Теперь, каждый желающий организатор может реализовать свою метрику и использовать её для дальнейшей оценки результатов участников. Это особенно удобно, когда хочется объединить различные способы оценивания моделей (например, в задачах сегментации или детекции, необычайно полезно и эффективно внедрять разные виды штрафов модели, к примеру, на основе logit'ов или вероятностей модели (output + Cross Entropy) и пересечений самих масок или "bounding box" (IoU, и др.) ).

Конечно, у Kaggle Staff изначально была своя библиотека качественно реализованных метрик, тем не менее, на мой взгляд, в ближайшем будущем мы будем наблюдать тренд реализаций метрик от самих организаторов и "более сложнее метрики" чем были до этого.

Если вы хотите почитать подобно об этом обновление, то переходите по данной ссылке: https://www.kaggle.com/discussions/product-feedback/418638

Если у вас возникли мысли на этот счёт, то буду рад увидеть их в комментариях под данной публикацией!