ML-engineer блок 5.1

📊 Регрессия: Как понять, хороша ли ваша модель? Остатки, Гомоскедастичность и Пугающее слово "Гетероскедастичность" простыми словами!

Привет, data-энтузиасты! 👋Разобрали регрессию, получили кучу цифр... но как понять, насколько хорошо модель описывает реальность? Сегодня – ключевые понятия: Остатки, Гомоскедастичность и Гетероскедастичность. Без сложной математики! ✨

1️⃣ Регрессионные Остатки: Ваши "Промахи"

➖Что это? Представьте: вы строите линию (или плоскость) через "облако" точек данных. Остаток – это вертикальное расстояние от реальной точки до предсказанной моделью линии.
➖Проще: Насколько сильно ваша модель "промахнулась" для каждого конкретного наблюдения. Если предсказали зарплату 100к, а реально 90к – остаток = -10к.
➖Зачем они? Остатки – ГЛАВНЫЙ индикатор качества модели! Анализируя их, мы видим:
➖Систематические ошибки? (например, модель всегда занижает предсказания для высоких значений).
➖Выбросы? (точки, которые модель вообще не смогла объяснить).
➖Общее соответствие? Много больших остатков = модель плохо ловит закономерности.

2️⃣ Гомоскедастичность vs Гетероскедастичность: Постоянство "Разброса" ошибок 🎯
Теперь посмотрим как разбросаны наши остатки по разным значениям предсказанной переменной (или предикторов).

🔵 Гомоскедастичность (Homoscedasticity): "Стабильный Разброс"
➖Что это? Величина остатков (их "разброс", дисперсия) примерно одинакова для всех уровней предсказанных значений.
➖Аналогия: Представьте стрельбу в тире. Куда бы вы ни целились (в центр, в край мишени), разброс ваших попаданий (остатков) вокруг точки прицеливания (предсказания) одинаковый. 🎯 🔜 🎯 🔜🎯 (Разброс стабилен).
➖Хорошо ли это? ДА! Это одно из ключевых допущений линейной регрессии. Значит, модель одинаково хорошо работает на всем диапазоне данных.

🔴 Гетероскедастичность (Heteroscedasticity): "Разнобой в Разбросе"
➖Что это? Величина остатков систематически меняется в зависимости от уровня предсказанных значений. Обычно: чем больше предсказание, тем сильнее разброс ошибок (или наоборот).
➖Аналогия: Теперь представьте, что при стрельбе по краям мишени ваши попадания разлетаются гораздо сильнее, чем при стрельбе в центр. 🎯 (Мало разброс) 🔜 💥 (ОЧЕНЬ большой разброс).
➖Пример из жизни: Предсказываем расходы семьи в месяц от дохода. У семей с низким доходом расходы обычно жестко ограничены бюджетом (маленький разброс остатков). У семей с высоким доходом расходы могут быть очень разными – кто-то копит, кто-то путешествует (очень большой разброс остатков для высоких доходов) → Это гетероскедастичность!
➖Плохо ли это? Да, проблема! Стандартные ошибки коэффициентов регрессии и p-значения могут стать ненадежными. Нужно искать причины и применять специальные методы (робустные стандартные ошибки, преобразования данных и т.д.).

#анализ_данных #регрессия #статистика #DataScience #машинное_обучение #гетероскедастичность #остатки