Beyond the LLM 🌓

👀 Недавно прочитал статью Валерия Бабушкина (https://www.linkedin.com/in/venheads/), про неоднозначность precision в продакшн‑сценариях вроде фрода или спама. Метрика выглядит хорошо на бумаге, но при изменении доли позитивного класса может сильно упасть, хотя TPR/FPR остаются стабильными.

💻 У меня был кейс с внедрением NLP-модели для проверки заявок в кредитном скоринге: на тесте precision была почти 0.9, но при росте объёма заявок и изменении их качества фактический «хороший» результат по бизнес-KPI упал в два раза. Переключились на фиксированную специфичность и максимизацию recall, и модель стала стабильно полезной в продакшне.

🚩Вывод: для систем с редкими событиями лучше смотреть на TPR/FPR или recall при фиксированной специфичности, а не на precision как на главный ориентир.

Статья: https://www.linkedin.com/pulse/why-precision-dangerous-metric-valerii-babushkin/?trackingId=4ANfb3R7Tc8nEiTB2rHz5A%3D%3D

📰Сегодня немного про "БАЗУ"

Выбор модели и метрики — это не вопрос ML, а бизнес-вопрос

Типичный разговор:
🗣 Какую модель возьмём?
🗣 Градиентный бустинг, лучший ROC-AUC.
🗣 Отлично!

Проблема: забываем главный вопрос — зачем бизнесу нужна эта модель?

Высокая метрика не гарантирует:
- Влияние на ключевые KPI
- Правильный баланс ошибок
- Пользу в реальных решениях

Сначала спрашиваем:
- Какое бизнес-решение улучшаем?
- Какие ошибки дороже?
-Как модель будет использоваться?

Только потом обсуждаем метрики, сложность, интерпретируемость.
- Модель — это не цель.
- Бизнесу нужен результат, а не алгоритм.

Лучшее решение — то, что:
- Даёт ясный эффект,
- Легко внедряется,
- Вызывает доверие стейкхолдеров.

🗞Главный вывод:
Перед выбором модели спросите: какой бизнес-результат мы оптимизируем?
Это меняет разговор с абстрактного ML на реальные решения.

Channel created