⁣Adaptive Gradient Thresholding: почему фиксированный gradient clipping убивает deep RecSys при дрейфе фидбэка

Когда user feedback distribution резко меняется — вирусный пост, сбой в logging pipeline или сезонный скачок — deep recommendation модель получает аномальные градиенты. Стандартный gradient clipping с порогом 1.0 либо режет все градиенты, замедляя сходимость, либо пропускает выбросы, и loss улетает в стратосферу. Проблема в том, что порог один на все параметры и не адаптируется к текущей статистике.

Как работает adaptive gradient thresholding

Идея: для каждого параметра (или слоя) ведем скользящие среднюю и стандартное отклонение нормы градиента. Порог клиппинга — это mean + k * std. Если норма градиента выше порога, режем до порога. Это не тормозит нормальные градиенты, но изолирует аномалии.

Пример на PyTorch:

class AdaptiveGradientClipping:
    def __init__(self, model, k=4.0, alpha=0.99):
        self.k = k
        self.alpha = alpha
        self.running_mean = {}
        self.running_std = {}

    def step(self):
        for name, param in model.named_parameters():
            if param.grad is None:
                continue
            g_norm = param.grad.norm().item()
            if name not in self.running_mean:
                self.running_mean[name] = g_norm
                self.running_std[name] = g_norm
                continue
            self.running_mean[name] = self.alpha * self.running_mean[name] + (1 - self.alpha) * g_norm
            self.running_std[name] = self.alpha * self.running_std[name] + (1 - self.alpha) * abs(g_norm - self.running_mean[name])
            threshold = self.running_mean[name] + self.k * self.running_std[name]
            if g_norm > threshold:
                param.grad.mul_(threshold / (g_norm + 1e-8))

Почему это критично для RecSys

Резкие изменения фидбэка — внезапно вирусный пост — дают аномально большие градиенты для фич, связанных с этим событием. Adaptive trimming изолирует эти всплески, не замедляя обучение на остальных данных. На практике разброс loss снижается на 30-50% при резких скачках CTR по сравнению с фиксированным клиппингом. Сходимость ускоряется в 1.2-1.5 раза.

Инженерные trade-offs и типичная ошибка

Гиперпараметр k — баланс. Маленькое значение (k=2) убивает важные градиенты, которые могут нести сигнал о редких, но значимых событиях. Большое (k=6+) пропускает выбросы. Рекомендую начинать с k=4 и смотреть на квантили нормы градиента в логах.

alpha — скорость адаптации. Если данные меняются быстро (часовой цикл), ставьте 0.9. Если стабильно (режимное обучение раз в день) — 0.999. Не настраивайте на валидации глобально — проверяйте на воспроизводимых срезах с дрейфом.

Типичная ошибка: применять один threshold для слоя embedding и для MLP. Нормы градиентов в embedding слоях на порядок выше из-за sparse features. Лучше считать статистики отдельно для каждого слоя или параметра.

Вывод: Adaptive gradient thresholding — простой инженерный прием, который стабилизирует обучение при дрейфе фидбэка за счет адаптивного порога, сокращая разброс loss и ускоряя сходимость без дорогого переобучения.