Это мощный метод машинного обучения, использующийся для построения предсказательных моделей. Основная идея градиентного бустинга заключается в последовательном добавлении простых моделей (например, деревьев решений), так чтобы каждая последующая модель корректировала ошибки предыдущих.
🚩Как это работает
🟠Инициализация
Модель начинает с простой начальной предсказательной модели, обычно с использованием среднего значения целевой переменной.
🟠Пошаговое обучение
Для каждой модели в ансамбле вычисляется градиент функции потерь по отношению к предсказаниям текущей композитной модели. Градиент показывает направление наибольшего увеличения ошибки и используется для определения того, как должна измениться следующая модель, чтобы уменьшить ошибку.
Следующая модель обучается, чтобы предсказывать отрицательный градиент (т.е., ошибку) предыдущих моделей.
Эта модель затем добавляется к композитной модели с некоторым коэффициентом обучения (learning rate), который определяет степень влияния новой модели на общую модель.
🟠Повторение
Этот процесс повторяется множество раз, и каждая новая модель улучшает предсказательные способности композитной модели, пока не будет достигнут критерий остановки или не будет добавлено заранее определенное количество моделей.
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
Создание синтетических данных
X, y = make_regression(n_samples=100, n_features=4, noise=0.1)
Разделение данных на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
Создание модели градиентного бустинга
model = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42)
Обучение модели
model.fit(X_train, y_train)
Оценка модели
print("Точность модели на тестовых данных:", model.score(X_test, y_test))
Ставь 👍 и забирай 📚 Базу знаний