Сегодня мы рассмотрим статью лаборатории фундаментальных исследований искусственного интеллекта МФТИ (Basic Research of Artificial Intelligence) 🏫

Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
(С. Чежегов, Я. Клюкин, А. Семенов, А. Безносиков, А. Гасников, С. Хорват, М. Такач, Э. Горбунов)

[статья]

Введение

Как мы уже рассказывали в посте от 21 марта про Sign-SGD, Sign-SGD позволяет в каком-то виде бороться с шумами с тяжелыми хвостами. Этот вопрос действительно имеет место быть в силу этой работы — показано, что нормы стохастических градиентов при дообучении модели BERT имеют тяжелые хвосты (не стоит пугаться — более формальное определение будет дано позже). Возникает естественный вопрос: как можно еще бороться с этим эффектом? Ведь при обучении или дообучении модели хочется, чтобы метод оптимизации был робастным, то есть устойчивым к различным видам шумов, и, помимо этого, хочется иметь вариативность в выборе метода оптимизации.

Считается, что для борьбы с распределениями с тяжелыми хвостами хорошим инструментом являются адаптивные схемы, в которых используется нормировка стохастического градиента. К таким схемам можно отнести AdaGrad, RMSProp, Adam и другие. Однако, как ни странно, несмотря на высокую эффективность этих методов, они не справляются с тяжелой стохастикой. Почему так происходит? Об этом мы расскажем далее.

Формализация

Для полноты картины введем несколько формальных определений.

Обозначим стохастический градиент как
∇f(w^k, ξ^k),
где w^k — веса модели на итерации k, а ξ^k — стохастика.

Клиппированный, или же обрезанный, стохастический градиент определяется следующим образом:
min (1, λ / ||∇f(w^k, ξ^k)||) ∇f(w^k, ξ^k).
Эта структура позволяет сделать направление, используемое в апдейтах оптимайзера, ограниченным по норме.

Шум с тяжелыми хвостами можно формализовать как
E[||∇f(w, ξ) - ∇f(w) ||^α] <= σ^α,
где α принимает значения в диапазоне (1, 2]. Это означает, что даже существование дисперсии не гарантировано.

Правила обновления весов для адаптивных схем можно найти в самой статье.

Основная идея

Главный вывод работы можно сформулировать просто: клиппинг делает адаптивные методы устойчивыми к тяжелым шумам, тогда как без него они такой робастности не обеспечивают.

Что означает устойчивость к шуму? Если метод оптимизации сходится с высокой вероятностью, то количество итераций, необходимых для достижения заданной точности, должно зависеть от уровня уверенности логарифмическим образом.

Иными словами, если мы хотим, чтобы метод сходился с вероятностью 1 - δ, то число итераций должно зависеть только от log(1/δ).
Это интуитивно понятно: например, при δ = 10^{-6} разница между 1/δ и log(1/δ) составляет несколько порядков.

Исходя из этого, ключевые результаты работы можно разбить на три части:

1. Нижние оценки
2. Верхние оценки
3. Эксперименты

Смотри продолжение (нижние и верхние оценки, эксперименты и выводы) в комментариях ⬇️