Datalytics

В этом году исполнилось 35 лет с первого релиза Microsoft Excel.

Это программа, которая, без преувеличения, изменила мир. Про себя могу сказать, что знакомство и тщательное изучение Excel определили то, что я буду заниматься аналитикой. Можно сказать, что именно благодаря этой программе я начал совершать первые робки шаги в анализе данных.

Нашёл перевод интересной статьи, которая прославляет Excel и рассказывает про его историю и влияние на бизнес:

Появление MS Excel определило эпоху — он «создал тысячи стартапов и стимулировал миллионы увольнений». Благодаря этой программе появлялись совершенно новые отрасли промышленности. Только посмотрите, какое количество новых должностей появилось в мире бизнес-аналитики — даже та, на которой я проработал большую часть 2015-го. Этих профессий не существовало, пока Excel не подарил нам возможность обрабатывать и визуализировать данные — играть в «что будет, если…».

https://habr.com/ru/company/it-grad/blog/507114/

Посмотрите как эволюционировал Excel за эти 35 лет: https://www.versionmuseum.com/history-of/microsoft-excel

Predictive Power Score (PPS) — это метрика, позволяющая определять степень линейной и нелинейной зависимости между двумя колонками, в том числе для ассиметричной зависимости. Эта метрика может быть отличной заменой коэффициента корреляции Пирсона. Пример реализации подсчета Predictive Power Score на Python и сравнение с Пирсоном:

https://www.kaggle.com/frtgnn/predictive-power-score-vs-correlation

Также рекомендую почитать статью про PPS:

https://towardsdatascience.com/rip-correlation-introducing-the-predictive-power-score-3d90808b9598

Вдохновлено постом https://t.me/ProductAnalytics/249

👷‍♂️Profi.ru ищет Middle Data Engineer в команду «BI»

🔈Слово предоставляется тимлиду команды «BI»:

Наша команда раскладывает и визуализирует данные так, чтобы аналитики могли строить дашборды, а бизнес — делать выводы и принимать решения на их основе.
Сейчас мы открываем направление «Аналитика в реальном времени», но для полноценного погружения нам не хватает data-инженера, который подхватит запросы от аналитиков и бизнеса, поддержит текущее развитие хранилища данных и поможет построить хранилище для маркетинговых данных.
Стек: Vertica, Clickhouse, MySQL, Redis, Python, Java, NodeJS, Apache Airflow, Apache Flink.

💬Откликнуться: @natashaprofi

🔗Посмотреть вакансию: https://profi.ru/vacancies/middle_engineer/

#moscow #fulltime #remote_first #middle #data_engineer

Статья про сравнение двух инструментов (Power BI и Python) для выполнения одной и той же задачи — когортного анализа. Лично я сторонник такого подхода, что для обработки данных нужно использовать тот инструмент, который исключает необходимость что-то тюнить и настраивать вручную, а для визуализации — инструмент с наибольшими возможностями гибкой фильтрации и предоставления self-service аналитики. Поэтому я бы комбинировал эти инструменты: строить сами когорты и определять количество дней жизни когорты в Python, а визуализировать (строить "косынки" и когортную таблицу) в BI-инструменте

https://habr.com/ru/post/501492/

Как и обещал, делюсь ссылками на каналы в сфере анализа данных, только начинающие свой путь, а также некоторые каналы, которые существуют уже давно, но по какой-то причине не набрали ещё много подписчиков:

🔷Канал Саши Михайлова, не только про аналитику, но и про неё тоже
🔶What does data mean? — Поток полезных ссылок для изучения data science и анализа данных
🔷Аналитика. Это просто — Канал про аналитику данных
🔶Продуктовая аналитика для чайников — Канал о тернистом пути в продуктовую аналитику: ссылки, авторские заметки и статьи
🔷Я у мамы аналитик — Записная книжка по Business Intelligence, аналитике, инструментам и методам анализа
🔶Fsecrets.ru — Подборка интересных материалов с трендами продвинутой аналитики, реальными кейсами применения
🔷data fm — Канал Анастасии Шушуриной про возможности python в анализе данных, разработке и data science
🔶Just Yet Another Channel — Канал Дарьи Чиркиной про продвинутую аналитику данных
🔷datadrivendecisions — Канал Даниила Ханина о том, как принимать решения на основе данных, юнит-экономике, метриках и поисках точек кратного роста
🔶Пристанище Дата Сайентиста — Канал Рената Алимбекова про карьеру, применение и обучение Data Science
🔷LEFT JOIN — Канал Николая Валиотти про аналитику данных
🔶Business Intelligence HeadHunter — Канал с вакансиями Power BI, Tableau

Не пожалейте времени пробежаться и подписаться на интересные вам каналы

Статья про конкурентный анализ средствами Python. Я уже кидал предыдущую часть статьи, в которой рассматривались особенности парсинга. В этой же части автор рассказывает об организации хранения полученных данных с помощью простой SQLite-базы

https://habr.com/ru/post/512208/

Я заметил, что некоторые посты из этого канала репостят небольшие телеграм-каналы, которые рассказывают про работу с данными. Значит, появляется много новых каналов про аналитику данных. И это круто, потому что создание новых каналов — сигнал растущего интереса к этой теме. К тому же завести свой канал — отличный метод систематизации информации и может ускорить профессиональное развитие.

Захотелось привести на эти каналы побольше подписчиков, чтобы мотивировать авторов активнее писать и не бросать это дело. У меня небольшая просьба: если вы ведёте телеграм-канал про анализ данных и у вас немного подписчиков (до 500) — поделитесь ссылкой на канал в личном сообщении. Я соберу их в один пост и размещу тут.

🚂«Первая Грузовая Компания» (ПГК) — крупнейший частный оператор грузовых железнодорожных перевозок России в поиске Senior/Middle data scientist

🔈Слово предоставляется ребятам из ПГК:

Мы видим высокий потенциал в применении различных математических, ML и оптимизационных алгоритмов для создания решений в виде цифровых подсказчиков и инструментов автоматизации бизнес-процессов. Есть беклог на 7 продуктов от стратегического планирования до фактического исполнения грузовых ЖД перевозок. Расчет оптимального плана перевозок, выбор лучших маршрутов и подходящих вагонов, оптимальная передислокация вагонов в онлайн режиме, баланс парка и много другое.
Прямо сейчас мы создаем ядро команды продуктовой разработки. Есть возможность реализовать свои амбиции в части выстраивания процессов разработки и применяемых инструментов с нуля.

Стек: Python, SQL, математический солвер Gurobi.
Круто, если у тебя есть опыт в том, с чем мы еще не работаем и ты нас этому научишь.

📝Откликнуться на вакансию: @dkrupenin (Дима Крупенин)

🔗Ссылка на вакансию: https://hh.ru/vacancy/38174454

#moscow #remote #fulltime #senior #middle #data_analyst

Интересная статья, раскрывающая многие аспекты работы аналитика: Никита Башун из "Везёт" рассказывает о создании системы антифрода. Отличный пример создания быстрого MVP, который за минимум времени разработки закрывает серьёзную проблему. Из инструментов: PostgreSQL, Airflow и Google Spreadsheets.

https://habr.com/ru/post/512752/

🅰️🅱️Открыт набор на новый поток интенсива ExperimentFest по математической статистике и a/b тестам 📊

1. Интенсив включает в себя 5 практических лекций 📒
2. Самостоятельная работа – после каждой лекции даются задачи для работы в интерактивном калькуляторе ExperimentFest. На этих калькуляторах можно проработать весь материал самостоятельно и закрепить то, что разбирается на лекциях. ДЗ сдается в личном кабинете студента, где можно получить обратную связь от преподавателей курса 🧪

Записаться тут ➡️ https://www.experiment-fest.ru/

🎒Skyeng в поиске Senior data analyst (Skysmart)

🔈Слово предоставляется ребятам из Skymart:

Тетрадь Skysmart — это новый проект Skyeng для учителей и учеников 5–11 классов.
Мы освобождаем учителей от проверки домашек и делаем задания для учеников интересными и практико-применимыми.
Уже реализована защита от списывания, впереди - реализации новых продуктовых экспериментов и идей.
Процессы только выстраиваются и есть возможность прямо влиять на них. Много свободы и много работы:)
Стек: Python, SQL, Airflow, Tableau + часть данных перевозим в Clickhouse.
Круто, если у тебя есть опыт в том, чем мы еще не работаем и ты нас этому научишь.

📝Откликнуться на вакансию: @bykatya (Быкова Катя)

🔗Ссылка на вакансию: https://hh.ru/vacancy/38106049

#moscow #remote #fulltime #senior #data_analyst

Если хочется сделать классификацию значений из числового в категориальный тип по заранее обозначенным диапазонам, то первое, что приходит на ум — сделать функцию и применить через apply().

Оказывается есть способы, которые работают быстрее:

1️⃣ Через loc : сделать несколько конструкций с loc, которые будут по-очереди прогонять условия и изменять значение категории (важно заметить, что тут нужно, чтобы условия были от максимального к минимальному). Получаем 77 мс вместо 131 мс на 540К значений.

2️⃣ Самый быстрый. Через метод cut() : этот метод позволяет разбить данные на бины (корзинки) в соответствии с заранее обозначенными диапазонами. А затем каждому бину можно назначить название с помощью параметра labels. Параметр include_lowest указывает на то, что нижняя граница корзины попадает в соответствующую корзину, а не в предыдущую. Метод cut() выдаёт 22 мс (!) на 540К значений. Судя по исходному коду, это всё магия numpy 💫

В погоне за скоростью важно всегда экспериментировать с решениями 💪

Статья, рассказывающая об опыте парсинга данных из открытых источников. Особый кайф материала в том, что автор очень хорошо описывает подход к формированию алгоритма парсинга. Есть, конечно, и примеры кода. Получился такой полевой дневник: подробно изложены шаги; описаны какие-то "подводные камни", на которые натыкался аналитик; рассказывается как справится с этими сложностями.

https://habr.com/ru/post/504900/

🧑‍💻ВКонтакте в поиске аналитика-разработчика в команду рекламы и бизнес-продуктов, которому интересно развиваться в техническом направлении, но и отходить от бизнеса далеко не хочется

🔈Вот что пишет действующий аналитик ВКонтакте об этой позиции:

Нужен спец, который будет развивать платформу ETL, aka кидать данные между хадупом и кх, так же делать агрегаты в кх по данным из кх и в хадупе, шатать все это через pyspark, airflow и python, отвечать за данные в нашей команде в целом. Пилить долгие решения типа предсказания оттока

📝Откликнуться на вакансию: @aleeshechka (Алёна)

🔗Ссылка на вакансию: https://vk.com/jobs?w=job234

#spb #moscow #remote #fulltime #senior #analytics_engineer

#реклама

Data Science и Machine Learning родственные, взаимообогащающие друг друга дисциплины.

Представляем «Новое электричество» — качественный авторский канал об Искусственном интеллекте.

В канале выходят посты про ИИ, стартапы, его применяющие, а также истории о собственном опыте авторов в создании бизнеса.

Основной проект авторов называется Upfinity — смотрите, добавляйте в закладки! Вполне вероятно, через год он будет там у многих.

Подписывайтесь на канал, вас ждёт ещё много интереснейших постов.

Ко мне периодически стучатся специалисты по найму с предложениями о работе. Я сам эти предложения вынужден отвергать, но в качестве жеста вежливости делюсь вакансиями в своём канале в телеграме.

Подумалось, что мне не очень хочется смешивать контент, ориентированный на распространение знаний с вакансиями. Поэтому я решил завести отдельный канал для публикации вакансий в сфере анализа данных, Data Science, а также инжиниринга данных. Так все вакансии будут в одном месте, будет удобнее искать по ним, а также позволит увеличить количество публикуемых вакансий (ведь основной канал было невежливо забивать одними вакансиями).

Так что если вы заинтересованы в поиске работы дата-аналитиком, продуктовым аналитиком, маркетинговым аналитиком (с уклоном в data analysis, а не в имплементацию систем веб-аналитики), игровым аналитиком, data scientist'ом или дата-инженером, то подписывайтесь. Пока там всего одна вакансия, но будут появляться ещё.

Размещение вакансий — бесплатно. Просто пишите мне в телеграме @ax_makarov. Не хочу, чтобы канал стал свалкой разношерстных вакансий, поэтому не буду брать вакансии системных и бизнес-аналитиков, а также веб-аналитиков и маркетинговых аналитиков с уклоном в имплементацию. Условно говоря, вакансия пройдёт, если от соискателя требуется работать с инструментами обработки/очистки/трансформации/визуализации/интерпретации данных (например, BI-системы, языки Python/R, SQL).

Ещё одно требование к вакансии — наличие живого текста, а не простого перечня требований и задач (всё это будет в ссылке на HH или другую странцу, нет смысла дублировать в посте). В свободной форме расскажите какие задачи предстоит решать будущему крутышу в вашей команде, какие инструменты использовать, пофантазируйте об образе идеального человека на позиции. Сделайте это так как если бы вы рассказывали об этой вакансии соискателю на собеседовании. Если вам сложно написать текст, то всё равно пишите — придумаем что-то вместе.

И последнее. В тексте вакансии обязательно должна быть ссылка на профиль контактного лица в телеграме. Хочется сократить расстояние между соискателем и компанией и убрать прослойку в виде HH или другого листинга вакансий.

В общем, если есть желание разместить вакансию — пишите @ax_makarov. По первому времени буду репостить в основной канал.

https://t.me/data_hr

Lamoda ищет коллегу на позицию Старшего продуктового аналитика, который станет одним из ключевых аналитиков для продуктов Ламоды.

Вот что пишут про вакансию ребята:

Для нас это важная роль, в рамках которой результаты исследований и интерпретация данных экспериментов имеют непосредственное влияние на развитие сайта, приложений, а также продуктовых направлений внутри e-commerce платформы.

В прошлом году мы собрали достаточно крепкую команду из 5 человек с разносторонним опытом в продукте и digital аналитике и сейчас хотим еще укрепить ее)
Кроме того, начинаем развивать свой бренд в области Data Analytics - в последние годы накопили очень много экспертизы по разным направлениям, и поняли, что пора уже ею делиться.

Продуктовые аналитики у нас анализируют потоки данных и помогают оценивать качество новых фич по разным продуктовым направлениям, формируют гипотезы и проводят А/В-тесты, визуализируют данные в дэшбордах и на основе исследований предлагают свои решения бизнесу.
Кроме того, каждый день у нас бывают миллионы пользователей, что создает настоящую Big Data, управиться с которой аналитикам помогает команда разработки R&D, с которой нужно будет взаимодействовать.
Чаще всего аналитики работают с Python, SQL, Tableau, Hive, Spark, GA.

Ищем коллегу, которому интересно развиваться в продуктовой аналитике, имеющего опыт в проведении А/В тестов (оценить и пересмотреть методологию оценки А/В тестов, предложить новые метрики), а также желание погружаться в сырые данные для поиска инсайтов и определения потенциальных точек развития.

Откликнуться на вакансию: @vasilii_la

Ссылка на вакансию: https://hh.ru/vacancy/38065206

#moscow #fulltime #senior #product_analyst

Для тех кто только начинает свой путь в аналитике данных с помощью Python, может быть полезным сравнение одних и тех же манипуляций с данными в SQL и в Pandas

https://towardsdatascience.com/how-to-rewrite-your-sql-queries-in-python-with-pandas-8d5b01ab8e31

Если вы работаете с данными и вам интересно, что происходит на западном рынке, то вам будет интересно почитать канал Инжиниринг Данных, который ведет Дмитрий. Он уже 4 года работает в Амазон в Канаде и США. Сейчас он занимается созданием ML решений для Amazon Marketplace в департаменте Customer Behaviour Analytics в роли Инженера Данных. До этого он работал в Alexa AI и помогал scientists делать Alexa умней.

Дмитрий пропагандирует современные аналитические решения и облачные вычисления (cloud computing). Он часто выступает на конференциях в Северной Америке и написал 6 книг.

Так же сейчас он создает бесплатный ресурс по обучению профессиям Data Engineer, Analytics Engineer, BI Engineer - https://www.datalearn.ru/ (записывайтесь), где хочет любому желающему помочь освоить профессию и научить работать с данными. Курс будет полезен не только инженерам, но и аналитикам, рекрутерам и менеджерам.

Если вы хотите разобраться как аналитика помогает бизнесу зарабатывать деньги и какие технологии популярны на западе, то вы можете присоединиться к студентам ресурса datalearn. Все лекции публикуются на youtube, а материалы доступны в git.

Если вы хотите узнать больше про переезд в Канаду и устройство в Амазон, то Дмитрий подробно рассказал в статье не хабр;

Большой туториал по использованию Pandas на примере задачи оценки студентов. По сути, это такое интересное решение типичной Excel'евской задачи с помощью Python. Рекомендую новичкам, чтобы повысить свою насмотренность

https://realpython.com/pandas-project-gradebook/