Представь, что у тебя в продакшене работает модель, ты доволен результатами, а через пару недель начинаешь замечать странности. Качество падает, предсказания уже не такие уверенные… 🤔 Оказывается, данные изменились, а ты об этом узнал слишком поздно.
Чтобы не попадать в такие ситуации, есть отличный инструмент — Evidently AI (там есть ссылка на гитхаб!) . Он словно whoop для модели (подписка дешевле и бесплатного функционала за глаза и за уши)! Постоянно следит за её состоянием, замечает сдвиги в данных, подсказывает, где метрики поползли вниз, и даже рисует красивые отчёты. Можно открыть их в браузере и сразу увидеть картину, где данные изменились, а где всё ещё стабильно:
🔹 замечает дрейф данных,
🔹 подсвечивает упавшие метрики,
🔹 строит понятные отчёты.
Посмотрим на любимых ирисах ;)
import pandas as pd
from sklearn import datasets
from evidently import Report
from evidently.presets import DataDriftPreset
iris = datasets.load_iris(as_frame=True)
df = iris.frame
# Разбиваем на reference и current
ref = df.sample(frac=0.5, random_state=42)
cur = df.drop(ref.index)
# Создаём отчёт
report = Report([DataDriftPreset()])
result = report.run(reference_data=ref, current_data=cur)
# В Jupyter достаточно вернуть объект result,
# и он отрендерится прямо в output ячейки
result
📊 В Jupyter он отрисует интерактивный отчёт, где данные остались стабильными, а где признаки «поплыли» (смотрим рисунок).
Это ощущается как ромашковый чай ☕️, который попиваешь следя за своим ML в продакшене. Не гадаешь, что пошло не так, а видишь конкретные сигналы. А значит, можешь быстро реагировать - переобучить модель, обновить пайплайн или просто зафиксировать изменения. Если у тебя модель уже живёт в проде - советую настроить мониторинг на старте, а не ждать сюрпризов 🤫.
#ИнструментНедели #SecretsManagement