⁣Adversarial Feature Masking для поиска Data Leakage в скользящем окне валидации

Стандартное скользящее окно режет temporal leakage, но не ловит information leakage — когда признаки несут информацию из будущего через лаги, агрегаты или lookahead-паттерны. Главная ошибка: полагаться на визуальный анализ feature importance или корреляции, которые маскируют тонкие утечки.

Как работает adversarial feature masking
Обучаем модель-атакующий, которая маскирует случайный набор фич и максимизирует потери на валидации. Если после маскировки метрика (AUC, MAE, logloss) падает аномально сильно — это индикатор leaky признаков. В production это дополнительный слой проверки: adversarial-компонент намеренно ломает временные корреляции, которые модель могла «подглядеть» через случайные шумы.

Production-реализация
Встраиваете adversarial-проверку как cron-задачу в CI/CD пайплайн переобучения. Пример из фрод-мониторинга: train_time_based_model каждый день с TimeSeriesSplit, затем adversarial autoencoder маскирует 20% фич и измеряет разницу в ROC-AUC. Если разрыв >2% — останавливаете деплой и проверяете признаки на lookahead bias через rolling window validatation с shift.

Типичная ошибка
Использовать feature importance из XGBoost или SHAP для детекции leakage — они показывают вклад фичи на полных данных, а не на masked-срезах. Adversarial маска намеренно создает пропуски в корреляционной структуре, выявляя скрытые зависимости от будущего. Если модель резко деградирует без конкретного признака — он почти наверняка содержит future info.

Практический совет
Добавьте проверку на variance метрики при множественных маскировках: высокое std — повод насторожиться. В финтехе это ловит фичи вроде «средняя сумма за последние 30 дней», где агрегат включает target из будущего при скользящем окне. Алгоритм:

import numpy as np
from sklearn.model_selection import TimeSeriesSplit

def adversarial_leakage_check(X, y, model, mask_ratio=0.2):
    scores = []
    tscv = TimeSeriesSplit(n_splits=5)
    for train_idx, test_idx in tscv.split(X):
        X_train, X_test = X[train_idx], X[test_idx]
        mask = np.random.binomial(1, 1-mask_ratio, X_train.shape)
        X_masked = X_train * mask
        model.fit(X_masked, y[train_idx])
        score_full = model.score(X_test, y[test_idx])
        scores.append(score_full)
    return np.std(scores)  # высокое std — повод насторожиться

Вывод: В production временных рядов adversarial feature masking — единственный инженерно надежный способ ловить information leakage, который не виден через корреляции или SHAP и убивает качество модели на свежих данных.