🤔 Расскажи о Gradient-boosted trees

Градиентный бустинг (Gradient Boosting) – это мощная техника машинного обучения, которая используется в задачах классификации и регрессии. Он строит последовательность деревьев решений, где каждое новое дерево исправляет ошибки предыдущих.

🚩Как работает градиентный бустинг?

Первое дерево делает предсказания (например, просто среднее значение таргета).
Считаются ошибки (остатки) между предсказанием и реальными значениями.
Следующее дерево обучается предсказывать эти ошибки.
Шаг 2 и 3 повторяются – каждое новое дерево учится уменьшать ошибку.
Итоговый ответ – сумма предсказаний всех деревьев, умноженная на коэффициент обучения.
F_{m}(x) = F_{m-1}(x) + \gamma \cdot h_m(x)
Где:
\( F_{m}(x) \) – предсказание на шаге \( m \)
\( h_m(x) \) – новое дерево, обученное на ошибках
\( \gamma \) – коэффициент обучения (learning rate), регулирует вклад каждого нового дерева

🚩Популярные реализации градиентного бустинга

🟠XGBoost
самый быстрый и популярный, поддерживает регуляризацию.
🟠LightGBM
быстрее XGBoost, строит деревья сверху вниз (leaf-wise).
🟠CatBoost
лучший для категориальных признаков, использует особые методы кодирования.

🚩Когда использовать градиентный бустинг?

Если важна высокая точность модели.
Если признаки имеют сложные нелинейные зависимости.
Если нужно предсказывать на табличных данных.
Не подходит, если данных мало – модель может переобучиться.
Требует тщательной настройки гиперпараметров.

Ставь 👍 и забирай 📚 Базу знаний