➡️ Как условие Липшица помогает выбрать шаг при градиентном спуске

Если градиент функции является L-Липшицевым, то есть его изменение не превышает ( L \cdot |x - y| ), то можно показать, что выбор шага ( \eta \leq 1/L ) гарантирует устойчивую сходимость для выпуклых задач.

Интуитивно это означает:
✔️ Если шаг слишком большой, можно “перепрыгнуть” через минимум.
✔️ Если шаг не больше ( 1/L ), движение вдоль антиградиента будет достаточно плавным, чтобы не вызвать расходимости.

В невыпуклых задачах это условие также полезно — оно помогает избежать слишком резких шагов, обеспечивая более стабильное обучение, даже если глобальной сходимости гарантировать нельзя.

💡 Итого: знание константы Липшица ( L ) даёт теоретически обоснованный верхний предел для шага обучения ( \eta ), что помогает сделать градиентный спуск устойчивым.

🐸 Библиотека собеса по Data Science