1. Bagging — работает параллельно: мы обучаем много независимых моделей на разных бутстрап-выборках и усредняем результат. Главный плюс — уменьшение дисперсии и борьба с переобучением.
Как это работает:
• создаём множество бутстрап-датасетов
• обучаем модели одновременно
• объединяем предсказания (голосование или среднее)
Примеры: Random Forest, BaggingClassifier / Regressor.
2. Boosting — модели учатся цепочкой: каждая следующая пытается исправить ошибки предыдущей. Цель — снизить смещение и выжать максимум точности.
Как это работает:
• берём слабого ученика
• усиливаем веса сложных объектов
• складываем много слабых моделей в одну сильную
Примеры: XGBoost, CatBoost, LightGBM, AdaBoost.
tags: #полезное #шпаргалка
➡ Data Scientist | Чат