Quant Researcher on Telegram: “Контролируем дрифт PnL бэктеста стратегии и прод…”

Контролируем дрифт PnL бэктеста стратегии и прода с Evidently

— Кто мы такие?
— Кванты
— Чего мы хотим?
— Чтобы распределение доходности стратегии с прода было похоже на распределение бектеста (опционально)

🍓 Evidently — это платформа для первичного анализа данных (EDA), создания отчетов и мониторинга качества моделей, в т.ч. оценки data drift.

А еще ее можно использовать для мониторинга отклонения доходностей стратегий с помощью TestSuite.

pip install evidently

📊 На примере датасета с ирисками:

import pandas as pd

from sklearn import datasets

from evidently.test_suite import TestSuite
from evidently.test_preset import DataStabilityTestPreset

from evidently.report import Report
from evidently.metric_preset import DataDriftPreset

iris_data = datasets.load_iris(
    as_frame='auto',
)
iris_frame = iris_data.frame

💼 Запуск тестов:

data_stability= TestSuite(
    tests=[
        DataStabilityTestPreset(),
    ],
)
data_stability.run(
    current_data=iris_frame.iloc[:60],
    reference_data=iris_frame.iloc[60:],
    column_mapping=None,
)
data_stability

📑 Построение отчета:

data_drift_report = Report(
    metrics=[
        DataDriftPreset(),
    ],
)

data_drift_report.run(
    current_data=iris_frame.iloc[:60],
    reference_data=iris_frame.iloc[60:],
    column_mapping=None,
)
data_drift_report

Quant Researcher