Идем еще на один следующий этап движения по нашему роадмапу вкатывания в Data Science. Если ранее мы рассматривали теорию вероятностей, то сейчас переходим к дисциплине, которая нам пригодится намного чаще. Потому что обычно мы всегда работаем с неопределенностями.
Давайте не будем долго тянуть - просто предположим, что теорию вероятностей мы уже изучили. Го сразу к темам:
1. Описательная статистика и визуализация данных
Тут следует рассмотреть меры центральной тенденции (среднее, медиана, мода), а также меры разброса (дисперсия, стандартное отклонение, квартили, квантили, перцентили и интерквантильный размах). Дополнительно рассмотреть выбросы и по желанию понять, что такое центральный момент распределения. По визуализации существует столько нюансов, поэтому стоит просто пробежаться по верхам (столбчатые диаграммы, гистограммы, боксплоты, скаттерплоты).
2. Выборки и генеральная совокупность
Знать, что такое генеральная совокупность и чем она все же отличается от выборки, и как у них из-за этого отличаются статистические оценки. Сюда докидываем Power Analysis. Также надо понимать про требования к оценкам и доверительные интервалы к ним.
3. Статистические гипотезы и тесты
Уметь формулировать гипотезы, определять уровень значимости и понимать, при чем тут p-value (еще знать определение!). Далее уже можно переходить к ошибкам I и II рода, оценивать мощность критерия. Изучить параметрические тесты (t-тест, z-тест, F-тест) и непараметрические тесты (хи-квадрат, тест Манна-Уитни, критерий Вилкоксона). Дополнительно к этому обязательно пройтись по статмоделям!
4. Анализ зависимостей
Изучить корреляции(коэффициент Пирсона, Спирмэна и ранговые корреляции) и уметь их применять. То же самое относительно регрессионного анализа (линейная и логистическая регрессии для одномерного и много мерного случаев). По возможности изучить предпосылки Гаусса-Маркова. Ну а дальше можно удариться в дисперсионный анализ (ANOVA), факторный анализ, кластерный анализ
и даже временные ряды.
Если есть желаение, то можно пойти и дальше в байесовскую статистику, но это скорее предмет еще одного отдельного разговора, я думаю тут есть специалисты покруче меня.
✏️ Курсы:
▫️Курс математической статистики от Райгородского
▫️Курс по прикладной статистике от Академии Аналитиков Авито
▫️Курс по матстату от Филиппа Ульянкина с кодом тут
▫️Основы статистики от института биоинформатики (опять Толя Карпов!) 1, 2, 3
▫️Математическая статистика от CSC
▫️Курс с применением ТВ и статистики в Python от нашего леопарда Глеба Михайлова
▫️Курс от матпрофи
✏️ Ресурсы:
▫️Хорошая интерактивная книга по статистике от коллег из HSE UX LAB на языке R
▫️Задачи по статистике на матбюро
▫️Семинары по статистике от Поступашек (ноутбуки тут)
▫️Канал, где чел поясняет за разные моменты в статистике и ML
▫️По желанию дальше можно изучить дружелюбную эконометрику
▫️Lessons in Statistical Thinking
✏️ Почитать:
▫️Сборник задач и упражнений по матстату
▫️Книга с неплохим введением в статистику
▫️Севастьянов. Курс теории вероятностей и математической статистики
▫️Jaynes E.T. Probability Theory: The Logic of Science
▫️Montgomery D.C., Runger G.C. Applied Statistics and Probability for Engineers, 7th Ed. Нашел пятое
▫️Sheskin D.J. Handbook of Parametric and Nonparametric Statistical Procedures, 5th Ed
▫️Neuhauser М. Nonparametric Statistical Tests: A Computational Approach
✏️ К собесам:
▫️Все, что я скидывал для подготовки к ТВ
▫️Если вы не понимаете, для чего нужна статистика на работе, то попробуйте прочесть вот эту статью от ребят из X5
▫️Статья про распределения во всех возможных вариациях
▫️Для жестких Practical Guide To Quantitative Finance Interviews
▫️Задачки по теории вероятностей и статистике в ноутбуках
▫️Анки-карточки, чтобы заботать статистические термины
«Статистики не бывает без "нового уровня неопределённости", про который обычно говорят как невозможность прямого анализа "генеральной совокупности"...»
@asisakov_channel
#statistics