whylogs

whylogs — это библиотека для мониторинга и аудита машинного обучения.
Она помогает делать ML системы более прозрачными, стабильными и надёжными за счёт постоянного мониторинга и аудита.

Она используется для того, чтобы:

— Отслеживать статистику и метрики моделей и данных в режиме реального времени.

— Выявлять дрейф данных - изменения в распределении данных со временем.

— Собирать примеры исключений и выбросов.

— Проводить аудит моделей и данных в поисках проблем.

— Генерировать автоматические отчёты и визуализации.

— Интегрировать с MLflow, TensorBoard и другими инструментами.