Парсинг данных из открытых источников — одна из распространённых задач дата-аналитика; а классический способ её выполнить — конечно же, с помощью инструментария Python🐍
В обучающем видео наш дата-эксперт Даниил Джепаров, лид клиентской аналитики, рассказал, как быстро и удобно автоматизировать парсинг данных — на примере конкретного открытого источника. Пошагово задача выглядит так:
1️⃣Получаем данные с сайта с помощью requests и beautifulsoup, преобразуем в pandas dataframe
2️⃣Загружаем полученный датафрейм в таблицу PostgreSQL
3️⃣Автоматизируем первые два шага посредством Cloud Functions Яндекс Облака
❗️Последний пункт особенно важен: использование Cloud-функций позволяет нам избавиться от отдельных cron-джобов или ETL-оркестраторов вроде Apache Airflow. Подход пригодится аналитикам, которые сталкиваются с самостоятельным выполнением инженерных задач (например, в случае с автоматизацией кода можно обойтись без настройки отдельной виртуальной машины и использования командной строки).
Видео доступны здесь:
✅YouTube
✅VK
Смотрите и делитесь ссылкой!