Совсем недавно, кстати, была первая годовщина создания лаборатории Маркова у нас на факультете — ретроспективно кажется, что можно было бы и дождаться «именин» 👀
Хотел написать небольшой пост вокруг теоремы Гаусса—Маркова, а тут такой повод. Пост будет посвящен тому, как математическая сноровка помогает видеть структуру в неожиданных местах.
Широко известно и интуитивно понятно, что если в линейной регрессии факторы сильно скоррелированы друг с другом, то у оценки их коэффициентов будет большая погрешность. Как это показать формально? Из теоремы Гаусса—Маркова мы знаем формулу ковариации коэффициентов, дальше можно применить что-нибудь в духе формулы обращения блочной матрицы и за несколько выкладок получить искомое. Этот путь концептуально несложен, но технически непрост.
В этом посте я хочу предложить другое доказательство — его можно рассказать устно, но вот придумать... Поражаюсь своим студентам, у которых иногда получается это сделать за время экзамена по ML 🥰