ICLR 2026 стартует уже завтра! Разбираем нашу статью с конференции

Сходимость Clipped-SGD с высокой вероятностью по последней точке: как применять технику потенциалов с интеграцией horizon-free параметров

[статья]

💡 О чем работа?
Стохастический градиентный спуск с клиппингом (Clipped-SGD) был широко исследован в течение последних пяти лет. Было построено множество анализов сходимости такого метода с высокой вероятностью в различных сетапах и с разными модификациями, но они “страдают” по следующим двум пунктам:
1️⃣ Если и показывается сходимость, то только эргодическая, т.е. в среднем по траектории обучения. Это означает, что “по-хорошему” мы должны в качестве итоговых весов модели брать усреднение этих же весов по всем итерациям (на практике так никто, очевидно, не делает).
2️⃣ Теоретические параметры зависят от общего количества итераций. На практике оно нам неизвестно; это ведет к невозможности подбора параметров исходя из теории.

В своей статье мы показываем, что для выпуклого сетапа можно решить эти проблемы одновременно.

🎯 Что мы предлагаем?
1️⃣ Ключевая идея — Potential-based proof
Мы показываем, что основываясь на аккуратном конструировании функции Ляпунова (в современной иностранной литературе это называется потенциал) можно вывести гарантии сходимости для последний точке.
2️⃣ Расширенная техника доказательства:
Сравнивая с существующими анализами сходимости, мы формулируем следующие нововведения:
🔵 Более точный подбор параметра клиппинга — сходимость по последней точке требует аккуратного контроля клиппинга, отличающегося от всех предыдущих работ – его необходимо брать меньше, нежели предполагается изначально
🔵 Обновленная индукционная схема — предыдущие доказательства строились на том, что мы не выходим за компакт с необходимой вероятностью. Теперь же мы позволяем этому компакту расширяться с логарифмической скоростью, что позволяет аккуратно построить индукционный переход.
🔵 Контроль вероятности ошибки (“расходимости”) — ранее, в случае “знания” общего количества итераций, вероятность ошибки контролировалась конечной суммой. В случае horizon-free подхода, необходимо модифицировать анализ накопления ошибки через контроль бесконечным рядом.
3️⃣ Дополнительная теория — “простой” механизм построения оценки сходимости по математическому ожиданию. В силу ограниченности шага (из-за градиентного клиппинга) мы можем напрямую вывести сходимость в среднем.

🧪 Практика: зачем нужны такие теоретические гарантии?
На практике наша цель довольно ясна:
🔵 Хочется запускать обучение модели всего лишь один раз, зная, что модель была хорошо обучена.
🔵 Запуская обучение моделей, мы не хотим проводить дополнительных манипуляций с весами из суммарной траектории – это означает, что нужна сходимость по последней точке.

В качестве простых экспериментов мы предоставляем исследование на i) логистической регрессии; ii) квадратичной задаче; iii) статистической логистической регрессии.

⚠️ Ключевые результаты
🔵 Продвинутый last-iterate анализ сходимости с высокой вероятностью для метода с клиппингом.
🔵 Прямой вывод оценок сходимости по математическому ожиданию.

📎 Подробности, алгоритмы, теоремы и эксперименты — в статье

#разборстатьи