Что вы знаете про калибровку уверенности/вероятности?

Калибровкой уверенности или вероятности называют процесс корректировки прогнозируемых данных классификатора, чтобы они точнее отражали реальную вероятность события.

Допустим, мы решаем задачу классификации с n классами. Модель выдаёт некоторые оценки принадлежности объектов к классам — уверенности. После этого каждый объект можно отнести к классу с максимальной оценкой. Возникает вопрос: какова вероятность, что ответ верный? Эту вероятность хотелось бы оценивать на этапе формирования ответа.

«Удобный» вариант сделать это — использовать предположение, что эта вероятность равна максимальной оценке алгоритма (уверенности). Если данное равенство выполняется с достаточной точностью, то можно сказать, что «классификатор хорошо откалиброван». Условия калибровки, в принципе, могут быть и другими. Например, можно хотеть, чтобы вообще все оценки соответствовали вероятностям.

Зачем нужна калибровка?

▫️Чтобы понимать, насколько результатам алгоритма можно доверять.
▫️Чтобы точнее решать задачи. Так, в языковых моделях при генерации текстов используются вероятности появления отдельных токенов.

#машинное_обучение