Как работает градиентный бустинг для регрессии, и как — для классификации?

Основная идея градиентного бустинга заключается в последовательном добавлении простых моделей (например, деревьев решений) так, чтобы каждая последующая модель корректировала ошибки предыдущих.

🔹Для задачи регрессии алгоритм выглядит так:

▫️Всё начинается с простой начальной предсказательной модели, обычно с использованием среднего значения целевой переменной.
▫️Для каждой модели в ансамбле вычисляется градиент функции потерь по отношению к предсказаниям текущей составной модели. Градиент показывает направление наибольшего увеличения ошибки. Соответственно, следующая модель обучается предсказывать отрицательный градиент предыдущих моделей.
▫️Этот процесс повторяется множество раз. Каждая новая модель улучшает предсказательные способности ансамбля.

🔹Для задачи классификации алгоритм почти такой же:

▫️Меняется предмет предсказания — вместо самих меток классов можно использовать их log-правдоподобие.
▫️Градиент функции потерь вычисляется, основываясь на различиях между фактическими классами и предсказанными вероятностями.
▫️Задачей каждой новой модели в ансамбле является уменьшение ошибки путём улучшения оценки вероятности.
▫️Как и в случае регрессии, каждая последующая модель стремится к уменьшению ошибок предыдущих.

#машинное_обучение