Как минимизировать события кредитной социнженерии с помощью ML?

Об этом на Scoring Day рассказал Антон Исправников, начальник управления моделирования РБ, Банк ВТБ.

Подходы и инструменты «социнженеров»
Основной инструмент мошенников — психология и работа с эмоциями. Сначала жертву выводят из равновесия: пугают («сейчас украдут деньги со счетов»), давят на срочность («нужно перевести в течение 5 минут»), или, наоборот, обещают быстрый заработок. В состоянии страха, паники или жадности человек хуже контролирует решения.

Дальше подключаются «катализаторы» воздействия: мнимая авторитетность («сотрудник банка», «полиции», «ФСБ», «руководитель»), важность и жесткие сроки. Комбинация сильных эмоций и таких триггеров — основа успешной атаки на человеческое мышление.

Размер ущерба
По оценкам ЦБ и крупных компаний в сфере кибербезопасности, около 90% мошенничества связано с социальной инженерией (СИ). В одном из обзоров ЦБ фигурирует ущерб около 5 млрд рублей на протяжении одного квартала, но реальная сумма, вероятно, выше.

Чем интересуются мошенники:
• кредитные карты, кредиты наличными и авто с отложенным залогом. Последние два продукта подвергаются атакам в большей степени. Доля событий СИ может достигать 1.5% в зависимости от продукта и периода времени.

Каналы выдачи:
• точки продаж и интернет‑банк, и последний, как правило, наиболее уязвим воздействию СИ

Целевые показатели СИ для будущих моделей:
Количество случаев СИ насчитывает сотни -
на объемах крупного банка это превращается в очень значимые суммы — и именно здесь ML может дать максимальный эффект.

Что с этим делать?
Самый простой шаг — короткая анкета из 10-15 вопросов в момент подачи заявки на кредит. Иногда люди в процессе заполнения понимают, что действуют «по указке», иногда жертву можно вычислить по нестандартному поведению. Но анкета срабатывает не всегда: мошенники отлично умеют готовить жертв.

Поэтому переходим на следующий уровень: анализ больших данных и подготовка ML-модели для хотя бы частичного предвосхищения таких событий.

Условно делим данные на три группы:
1) внутренние: соцдемография, транзакции, кредитная история, продуктовый профиль.
2) внешние: из БКИ, от работодателя и внешних провайдеров (особенно ценны данные телеком-операторов)
3) (почти) real‑time: события и триггеры по клиенту — как давно до заявки он снимал наличные, какие операции проводил, как часто меняет пароль в ЛК, продолжительность сессий и т.п.

Из этих данных генерируется множество фичей для обучения онлайн-модели, которая оценивает вероятность того, что кредит запрашивается под воздействием социальной инженерии.

Сегментация — стоит отдельно анализировать онлайн и офлайн каналы подачи заявки, а также продукты.

Целевое событие — подтвержденный случай социальной инженерии. Таргет — бинарный, задача — классификация.

Алгоритм обучения — градиентный бустинг.

Целевые метрики:
— F1-score (основная в данном кейсе) - среднее гармоническое между точностью и полнотой, помогает найти максимум мошенников и минимизировать количество ложноположительных срабатываний, тем самым сократив число необоснованных отказов. Качество модели на каждой итерации оценки признаков измерялось с помощью метрики, основанной на площади под кривой F1-score в заданном диапазоне cut-off (0–10%).

Gini показатель второстепенный, поскольку хорошо демонстрирует упорядоченность наблюдений, но предсказания на уровне фиксированного порога классификации могут быть неэффективны.

Можно использовать соотношение «чувствительность/специфичность» для минимизации разницы между ними, но тогда вырастает доля ложноположительных решений.

Результаты
Оптимизация площади под кривой F1 позволила банку увеличить как ранжирование (Gini), так и F1-score на несколько процентных пунктов — результат не космический, но в риск-менеджменте важны именно взвешенные решения, а не эффектные цифры в презентации.

За год банк смог выявить сотни случаев социальной инженерии и потенциально сохранить для клиентов более миллиарда рублей.