DataEng

Скрещивание OLAP БД ClickHouse и стриминговых инструментов Apache Kafka и ksqlDB: https://medium.com/streamthoughts/how-to-build-a-real-time-analytical-platform-using-kafka-ksqldb-and-clickhouse-bfabd65d05e4

А вот ещё набор из мини-курсов от Kaggle:

- Python
- Intro to Machine Learning
- Intermediate Machine Learning
- Data Visualization
- Pandas
- Feature Engineering
- Deep Learning
- Intro to SQL
- Advanced SQL
- Geospatial Analysis
- Microchallenges
- Machine Learning Explainability
- Natual Language Processing
- Into to Game AI and Reinforcement Learning

Случайно в поиске нашел интересный блог про изучением data engineering. Автор в основном пишет про инструменты: dbt, Kafka, debezium, airflow и т.д. Но есть статьи про поиск работы и даже практические проекты на которых можно потренировать свой скилл.

Также он ведёт свой ютуб-канал StartDataEngineering, где в основном выкладывает туториалы по теме.

Огромное уважение автору за титанический труд!

Состоялся мажорный выпуск новой версии ETL инструмента Luigi - luigi 3.0. Из глобальных изменений там только отказ от поддержки Python2 по понятным причинам. Из новых фишечек добавили лишь более удобную визуализацию статуса работы воркера (при условии, что вы обновляете прогресс).

Для тех, кто не знаком с инструментом, велком почитать мой старый пост: Строим Data Pipeline на Python и Luigi.

Несколько месяцев назад я закончил создание курса про построение дата-пайплайнов на Luigi, он находится на платформе stepik: Введение в Data Engineering: дата-пайплайны. Его купили уже более 50 специалистов, отзывы о курсе можно почитать тут

Uber зарелизил библиотеку для работы с Amazon Athena на языке Go: https://eng.uber.com/introducing-athenadriver/

Для тех, кто не знает что такое Amazon Athena, велком читать мой пост про построение озера данных в AWS: https://khashtamov.com/ru/aws-data-lake/

В Python для работы с Athena можно использовать boto3, пример кода https://github.com/adilkhash/aws-meetup-almaty-2019-data-lake/blob/master/athena_query.py

В подкасте Software Engineering Daily вышел эпизод про исследования в области распределённых систем. Гостем выпуска стал Peter Alvaro: https://softwareengineeringdaily.com/2020/05/28/distributed-systems-research-with-peter-alvaro/

Введение в ksqlDB: https://www.youtube.com/watch?v=7mGBxG2NhVQ

Обзор альтернатив pandas https://towardsdatascience.com/beyond-pandas-spark-dask-vaex-and-other-big-data-technologies-battling-head-to-head-a453a1f8cc13

Кратко о том, что будет в Apache Airflow 2.0: https://www.youtube.com/watch?v=FLlO3QTIrUI

​​В современных компаниях накапливается большой объем данных, из которых можно извлекать важную аналитику, строить гипотезы или модели прогнозирования.
Data Engineer — это специалист, который как раз и собирает данные из разных источников, структурирует и передает аналитикам для принятия бизнес-решений.

Потребность в специалистах Data Engineering сейчас очень высокая и, по прогнозам, будет расти. По версии кадрового агентства Glassdoor, профессия Data Engineer входит в топ-10 в рейтинге самых лучших профессий Америки.

В SkillFactory идет набор на курс Data Engineer. Курс предназначен для людей, которым нужно освоить основные инструменты и методы по работе с Big Data. Программа рассчитана на тех, кто знаком с Python и построена по принципу от простого к сложному. Вы узнаете и освоите самое важное о Data Engineering, что нужно знать аналитику данных. И как итог, в конце курса вы завершите собственный проект по настройке пайплайнов и хранилища данных

🧨Прямо сейчас на курс дают скидку 50%. Торопитесь: https://clc.to/S1GeJw

Статья про внутреннее устройство pandas, а если быть точнее, то про BlockManager: https://uwekorn.com/2020/05/24/the-one-pandas-internal.html

Дмитрий с канала @rockyourdata запустил бесплатный курс по дата инженерии у себя на ютуб-канале: https://www.youtube.com/channel/UCWki7GBUE5lDMJCbn4e1XMg

крутой cheatsheet по оконным функциям SQL 😎

Совсем забыл. Не так давно писал пост про оконные функции SQL. Рассмотрел далеко не все функции, но постарался основную идею передать, надеюсь, что мне это удалось 🍀

Ссылка на пост: https://khashtamov.com/ru/window-functions-sql/

Гайд от AWS про дата пайплайны в индустрии GameTech: https://aws.amazon.com/ru/solutions/implementations/game-analytics-pipeline/

DataCamp дают бесплатный доступ ко всем их материалам на 1 неделю, с 15 по 22 мая — https://bit.ly/2Z670Sb
Сам периодически прохожу там курсы, очень доволен.

В прошлом посте я давал ссылку на какой-то стриминговый сервис, который требовал регистрацию перед просмотром.
Сегодня обнаружил, что запись митапа выложена на ютубе

Вчера прошел онлайн митап на тему, что нового нас ждёт в предстоящем релизе Apache Airflow 2.0

- Слайды
- Запись митапа

Когда именно состоится релиз версии 2.0 точно не известно, но разработчики надеются, что он будет в 3-ем квартале 2020 года. Пожелаем ребятам удачи! 🍀
А вы чем пользуетесь для построение пайплайнов? Напишите, пожалуйста, в комментариях к посту.

В блоге Confluent вышла интересная статья про построение Telegram бота на Python и ksqlDB: https://www.confluent.io/blog/building-a-telegram-bot-powered-by-kafka-and-ksqldb/

Появились доклады с прошедших двух митапов по Data Engineering, последний, к слову, проходил онлайн 🦠:

— Николай Марков – Какие дата инженеры бывают и чего от них все хотят?
— Евгений Ермаков – Что под капотом у Яндекс.Такси?
— Егор Матешук – Обзор Lambda- и Kappa-архитектур
— Денис Хуртин – Как устроена платформа управления данными в Яндекс.Маркет?

Приятного просмотра!