#кейсы #ML

про кейс-менеджмент

N лет назад было время в которое месяцами надо было убеждать манагеров в том что важно делать A/B-тесты, нужно смотреть на метрики, модели не бывают 100% точные и найденный методом пристального взгляда кейс DS вполне может проинтерпретировать, а потому не надо блокировать выводы модели в прод.

Теперь все перевернулось с ног на голову — DSы умникам из кибербезы (экспертам в промывной технологии «не пущай») необходимость DSу иметь доступ к самым сырым данным. В особо запущенных случаях помогают только истории вроде той что не так давно произошла с в одном нежелтом не-т-топовом небанке, неимеющим собственного немобильного неоператора.

Мама одного из топов (назовем ее Дазрадраперма Ильинична для краткости) попала в сводки жертв социальной инженерии с банальным «московскую пенсионерку телефонных мошенники развели на xxx млн. рублей». Тему того что судя по новостям у каждой пенсионерки в стране минимум миллион долларов в трехлитровых банках — в этом посте мы не рассмотрим, увы. В организации конечно же поднялся тотальный шухер с выяснениями — авторы модели, валидаторы, инфраструктурщики безы и все причастные были вызваны на ковер (классическое «сейчас разберусь как следует и накажу кого попало»).

Итак, полнота модели по всем отчетам космическая, применяется на всех абонентах: вон, mlopsы — кстати, можно ли читать без слова «псы»? — даже бонусы в том году получили за эффективное масштабирование модели на всех.

В чем причина? Пришлось безам дать-таки запись разговора авторам модели.

Итак:

⁃ Дазрадраперма Ильинична очень любила любых окружающих грузить своими проблемами, вот и незадачливые мошенники первые пять минут были вынуждены слушать что кабачки раздать некому — не успев даже представиться и сказать про безопасный счет
⁃ Модель скорила разговор нарастающим окном раз в десять секунд и прекращала работу через 3 минуты разговора — для экономии железа (помним про бонусы за эффеквтиность)
⁃ Первые пять минут разговора (не то что 3) Дазрадрапермы Ильиничны с мошенниками ничем не отличались от других ее разговоров.
⁃ Результат немного предсказуем

Так что кейс-менеджмент не менее важен чем метрики, а экономия, как и всегда, выходит боком 😂.

Модели делать нужно лихо и на кураже, без оглядок ни на кого 💪.

А про безов мы еще вспомним в ближайших постах ⚡️