Quis custodiet ipsos custodes // Кто будет сторожить сторожей?

Периодически просят провалидировать валидаторов (а заодно и оригинальные модели) в разных небольших банках. Такие банки часто вынуждены закупать скоры (да и другие данные, например, доход) у других участников рынка и на своем портфеле внутри их объединять, и в таком объединение все еще популярен логрег и WoE.

Если все сделать аккуратно и потестировать на стабильность — то почему бы и нет, рабочая история.
Проблемы растут вместе с аппетитом бизнеса — когда имеющуюся модель пытаются использовать для привлечения новой клиентской базы (например, предлагать предодобренные кредиты более высокому по доходу сегменту). Уже чувствуете sample selection bias при обучении, да? Хотя часто такие bias частично решаются покупкой внешних дефолтов, но кто ж будет со всем этим возиться.

Гораздо проще кивать в сторону поставщиков — мол, они например, доход потенциального заемщика плохо предсказывают. Доход этот, как правило, поставляют не непрерывным числом — а бакетами (например, 100 — 150 тыс у этого клиента) — здесь мы говорим о закупках модели у внешних провайдерах и использовании внутри модели PD (вероятности дефолта) — потому что в случае кредитных лимитов регулятор движется в сторону отказа от моделей.

А дальше происходит классическая картина:

1. В исходной модели банка верхний бакет по доходу был представлен слабо, модель на нем работала плохо и не тестировалась даже отдельно в нем
2. При попытке применять модель в верхнем сегменте по доходу ожидаемо получается лажа
3. Ножи летят в поставщиков скоров
4. Inhouse-команда молодцы

Простые логические соображения что:
— если предсказанный доход далеко не первая по важности фича в такой PD-модели, то шум в ней вообще не причина проблем,
— WoE с бакетом в котором 1-2% наблюдений это нездорово и модель в этом бакете скорее всего сильно слабее чем на всей выборке

обычно сложно воспринимаются той стороной, которой легче рисовать слайды о том что надо «просто более точные данные подавать в модель».

Поэтому навайбкодил описанную ситуацию на открытом датасете (только фичу по доходу пришлось привести к бакетам).

Даже на таком дотаcете без синтетики и лишних приседаний (разве что задал размер последнего бакета по доходу в 2%):

— Gini в верхнем сегменте по доходу 51.6 vs 58 по всей выборке (это оч большой разрыв)
— сам доход топ-5 фича в логреге с WoE
— MAPE «модели дохода» меняем от 0 до 30% — насыпаем логнормального шума в доход — это у нас «плохая модель поставщиков»
— ожидаемо, на всей выборке качество модели почти не меняется в зависимости от шума пятой по важности фичи
— да и в самом верхнем сегменте gini тоже достаточно стабильно даже при сильном зашумлении самой фичи

Лучше один раз навайбкодить, чем неск часов убеждать, так считаю