Логистическая регрессия — это линейная модель, и ее склонность к переобучению значительно ниже, чем у более гибких моделей, таких как decision trees или нейросети. Вот почему:
1. Ограниченная сложность модели
Логистическая регрессия линейно разделяет пространство признаков, что ограничивает ее гипотезы (модельное семейство). Это значит, что она имеет высокое смещение (bias), но низкую дисперсию (variance). Переобучение обычно связано с высокой дисперсией, которой у линейной модели меньше.
2. Малая VC-дименсия
В отличие от деревьев решений, которые могут запомнить структуру обучающей выборки почти целиком, логистическая регрессия имеет гораздо более низкую VC-дименсию, а значит — меньше риск выучить шум.
3. Регуляризация встроена естественным образом
В логистическую регрессию часто добавляют L1 или L2 регуляризацию (например, через параметр
C в `sklearn`). Это сдерживает веса модели и предотвращает переобучение.4. Обучение через оптимизацию функции правдоподобия
Вместо того чтобы искать сложные деревья или веса, как в нейросетях, логистическая регрессия решает выпуклую задачу оптимизации. Это делает процесс более стабильным и предсказуемым.
🔍 Но важно: логистическая регрессия может переобучиться при высокой размерности данных (особенно если признаков больше, чем наблюдений), или при наличии коррелированных и нерелевантных признаков — в этих случаях регуляризация обязательно нужна.
Библиотека собеса по Data Science