Шпаргалка по регрессионному анализу

Регрессионный анализ — это метод, который позволяет подобрать функцию f(x), наилучшим образом описывающую данные yi = f(xi), с учетом некоторой функции ошибки

Типы регрессии:
1. Линейная регрессия:
- Подбирает прямую линию, минимизируя сумму квадратов ошибок

2. Полиномиальная регрессия:
- Подбирает полином порядка k, минимизируя сумму квадратов ошибок

3. Байесовская линейная регрессия:
- Для каждой точки данных подбирается гауссова распределение, минимизируя среднеквадратичную ошибку
- При увеличении количества точек данных распределение сходится к точке

4. Ридж-регрессия (Ridge Regression):
- Минимизирует сумму квадратов ошибок и взвешенную L2-норму параметров

5. LASSO-регрессия:
- Минимизирует сумму квадратов ошибок и взвешенную L1-норму параметров

6. Логистическая регрессия:
- Используется для классификации, а не регрессии
- Подбирает линию или полином с сигмоидальной активацией, минимизируя сумму квадратов ошибок