🧠 Градиентный спуск: когда сходимость гарантирована, а когда — нет

В линейной регрессии с функцией потерь в виде среднеквадратичной ошибки (MSE) задача выпуклая — это значит, что существует единственный глобальный минимум, и градиентный спуск (если не мешают численные ошибки) гарантированно к нему сойдётся.

🔁 Если расширить линейную регрессию, применяя нелинейные преобразования (например, полиномиальные признаки), или перейти к глубоким нейросетям, ситуация меняется: поверхность функции потерь становится невыпуклой, появляются локальные минимумы и седловые точки.

📉 В таких случаях градиентный спуск может:
▪️ сойтись к локальному минимуму
▪️ застрять на плато (участке с малыми градиентами)
▪️ не достичь глобального оптимума

💡 Что помогает:
▪️ оптимизаторы с моментумом (например, Adam, RMSProp)
▪️ адаптивное изменение learning rate
▪️ периодический «рестарт» обучения

⚠️ Подводный камень:

Можно ошибочно считать, что градиентный спуск всегда работает, как в линейной регрессии. Но в невыпуклых задачах сходимость к глобальному минимуму не гарантируется.

Библиотека собеса по Data Science