1️⃣ Как можно интерпретировать влияние регуляризации на ландшафт функции потерь?
1. L2-регуляризация (Ridge) добавляет квадратичный штраф, сглаживает ландшафт, делая экстремумы менее острыми и смещая их ближе к нулю. Это способствует устойчивости оптимизации и уменьшает чувствительность к шуму в данных.
2. L1-регуляризация (Lasso) делает ландшафт негладким — возникают "углы" вдоль осей, стимулируя зануление весов. Это создает разреженные решения, особенно полезные для отбора признаков.
В целом, регуляризация деформирует функцию потерь, направляя оптимизацию к более простым и обобщающим моделям.
2️⃣ Что такое bootstrap?
Bootstrap — это метод статистического ресемплинга с возвращением из исходной выборки для оценки устойчивости и разброса метрик модели без привлечения новых данных. На практике его используют для построения доверительных интервалов, оценки ошибки модели и проверки стабильности результатов на ограниченных данных. Благодаря bootstrap можно получить более надёжные оценки качества и избежать переоценки модели на тренировочных данных.
3️⃣ В какой ML-модели используется bootstrap и для чего?
Bootstrap активно используется в Random Forest для построения каждого дерева на случайной подвыборке с возвращением из обучающего датасета. Это обеспечивает разнообразие деревьев и снижает корреляцию между ними, что улучшает обобщающую способность ансамбля, снижая дисперсию модели.