Мне кажется, что линейная регрессия наиболее часто используемая модель. Иногда в нее вводят дополнения (полиномы, сплайны, трансформацию X и/или Y, нормализация и т.п.), но суть остаётся одна - пытаемся аппроксимировать прямую линию.

Почему? Потому что так удобно усреднять между всеми наблюдениями прямой линией. Затем мы можем получить оценки изменения среднего, т.е. разницу средних (между группами или при изменении количественного показателя).

Кажется, что выучи все по линейной регрессии и будешь разбираться во всем регрессионном анализе. Вроде бы и да (действительно облегчает), и нет (возможно выучить все?). Самое интересное, что изучать линейные модели мы начинаем еще в школе, когда вы сталкиваетесь с уравнением функции y = ax + b и рисуете ее график.

Так же часто используют обобщенные линейные модели (GLM, generalized linear models), где Y меняется на g(y) (на самом деле нет, на g(E[Y|X=x])), т.е. функцию связи (линейная регрессия - частный пример GLM). Но суть остаётся прежней, т.к. без трансформации исхода (для интерпретации) формула остаётся g(E[Y|X=x]) = b0 + b*x.

Преимущества использования линейной регрессии:
🔸 Понятно - легко интерпретировать
🔸 Наглядно - несложно нарисовать
🔸 Удобно - можно контролировать изменения и усложнения, вводить переменные разного типа
🔸 Проще начинать обучение с нее

Недостатки:
🔹 Теряем некоторые вариации (слишком сильная аппроксимация)
🔹 Может быть нелинейная связь, что требует усложнение (значит усложняется и интерпретация)
🔹 Если мы выберем форму кривой (при предыдущем пункте), которая не соответствует отношениям между переменными (в реальности), наши прогнозы будут неверными

Конечно, всегда есть нюансы/допущения в применении методов/оценщиков. Об одном писал здесь (рекомендую еще прочитать комментарии).

@ebm_base