Калибровка курильщика

Калибровка в задачах классификации – полезная и широко практикуемая штука. Вот, например, сервис прогнозов FiveThirtyEight любит хвастаться качеством калибровки своих предсказаний. Даже прогнозы погоды нам показывают вероятность дождя по часам.

Немногие знают, что с калибровкой связан один неприятный факт: в работе Foster & Vohra, 1998 было показано, что можно достичь идеальной калибровки без каких-либо знаний о распределении таргетов. Более того, даже в adversarial режиме, когда следующее событие выбирается с учётом предсказаной вероятности, возможно добиться точной калибровки.

Грубо говоря, алгоритм следующий: если наши предсказания откалиброваны неидеально, существует пара соседних порогов, в одном из которых мы слишком уверены, а во втором – недостаточно уверены. Нам достаточно сделать предсказание между этими двумя величинами, и неважно, куда попадёт предсказание – наша калибровка станет лучше.

Это в том числе означает, что мы не может отличить по калибровке предсказаний "неудачливого эксперта", который честно пытается решать задачу предсказания, от “инфоцыганина”, который свои вероятности выдаёт по такому алгоритму без оглядки на распределение данных. This says a lot about our society. 💡