Какие разновидности градиентного спуска вы знаете?

Можно перечислить три разновидности.

1️⃣ Пакетный градиентный спуск (Batch Gradient Descent)
При таком подходе градиенты рассчитываются на основе всей обучающей выборки. Пакетный градиентный спуск гарантирует движение в направлении истинного градиента, но может быть очень медленным для больших наборов данных.

2️⃣ Стохастический градиентный спуск (Stochastic Gradient Descent, SGD)
Этот метод использует только один случайный пример из обучающей выборки для расчёта градиента на каждом шаге. Это делает процесс обучения более шумным, но также значительно ускоряет его и позволяет выходить из локальных минимумов.

3️⃣ Мини-пакетный градиентный спуск (Mini-Batch Gradient Descent)
Этот метод представляет собой компромисс между пакетным и стохастическим градиентным спуском. Он использует небольшую случайную подвыборку данных (мини-пакет) для расчёта градиента на каждом шаге. Это позволяет ускорить обучение, сохраняя при этом устойчивость.

#машинное_обучение