Всем привет!
Нужна ваша помощь. Я решил в виде Twitter треда собрать список полезных материалов для изучения data engineering: https://twitter.com/adilkhash/status/1274757239488774144
Если вы пользуетесь Twitter, то просьба поставить лайк/сделать ретвит, это поможет распространить этот тред на большее количество людей.
Спасибо!

Twitter Adil 🇰🇿 Wanna dive into Data Engineering? Here is the list of subjects and corresponding resources you can follow. Thread 👇

Post #161 750 Jun 21, 2020, 12:33 UTC

https://www.xenonstack.com/blog/apache-pulsar/

Xenonstack Apache Pulsar Architecture and Benefits | Stream Processing Platform Apache Pulsar is a powerful stream-processing platform. This is the Ultimate Guide to everything you need to know about Apache Pulser.

Post #160 686 Jun 20, 2020, 23:52 UTC

https://chollinger.com/blog/2020/06/a-data-engineering-perspective-on-go-vs.-python-part-1/

A Data Engineering Perspective on Go vs. Python (Part 1) Exploring golang - can we ditch Python for go? And have we finally found a use case for go? Part 1 explores high-level differences between Python and go and gives specific examples on the two languages, aiming to answer the question based on Apache Beam and…

Post #159 722 Jun 18, 2020, 21:16 UTC

Вышла новая версия Apache Spark 3: https://spark.apache.org/releases/spark-release-3-0-0.html

Post #158 738 Jun 18, 2020, 06:19 UTC

Если вы сейчас рассматриваете предложения о работе и в частности в сфере data engineering, то на сайте remotelist.ru есть отдельная категория DataOps: https://remotelist.ru/category/dataops-jobs/
Если лень постоянно заходить на сайт, то можно подписаться на RSS этой категории: https://remotelist.ru/feed/category/dataops/

Также есть телеграм канал: @remotelist и бот @RemoteListBot

P.S. проект мой, пожелания и предложения можно оставлять в комментариях 😊

remotelist.ru Вакансии DataOps на Remotelist.ru Вакансии DataOps. Вакансии удалённой работы на remotelist.ru

Post #157 666 Jun 17, 2020, 16:50 UTC

https://www.linkedin.com/pulse/business-intelligence-meets-data-engineering-emerging-simon-sp%C3%A4ti/

Linkedin Business Intelligence meets Data Engineering with Emerging Technologies Today we have more requirements with ever-growing tools and framework, complex cloud architectures, and with data stack that is changing rapidly. I hear claims: "Business Intelligence (BI) takes too long to integrate new data", or "understanding how the numbers…

Post #156 651 Jun 17, 2020, 11:50 UTC

A Brief History of Dask: https://coiled.io/blog/history-dask.html
Dask может быть лучшей альтернативой Apache Spark

Post #155 2.44K Jun 16, 2020, 09:50 UTC

Интересный обзор новых БД от автора книги Seven databases in seven weeks. Автор планирует написать 3 поста с небольшими обзорами главных фич.

Первая часть посвящена: TileDB, Materialize и Prisma. Во второй части будут разобраны EdgeDB, Tremor и Debezium (CDC). И в финальной части автор обещает сделать выводы.

Ссылка на статью: https://lucperkins.dev/blog/new-db-tech-1/

Post #154 651 Jun 16, 2020, 04:52 UTC

как распараллелить ваш python код на лямбды? очень просто — используйте http://pywren.io/

pywren pywren -- run your python code on thousands of cores Pywren uses AWS Lambda to effortlessly run your existing python code on thousands of machines in the cloud

Post #153 Jun 15, 2020, 10:43 UTC

DataEng pinned «Ура! Я наконец завершил создание курса по построению дата-пайплайнов в Python, используя фреймворк Luigi: Введение в Data Engineering: дата-пайплайны Идея создания курса пришла давно, в июле 2019 я начал готовить материал и выбирал платформу на которой он…»

Post #152 1.79K Jun 15, 2020, 03:34 UTC

Kafka в недрах Dropbox: https://dropbox.tech/infrastructure/finding-kafkas-throughput-limit-in-dropbox-infrastructure

dropbox.tech Finding Kafka’s throughput limit in Dropbox infrastructure

Post #151 604 Jun 14, 2020, 03:59 UTC

https://www.startdataengineering.com/post/what-why-and-how-apache-kafka/

Startdataengineering What, why, when to use Apache Kafka, with an example Apache Kafka is a distributed streaming platform. This post goes over the common scenarios when using Apache Kafka will be beneficial, how to use it and the basic concepts of Apache Kafka

Post #150 889 Jun 10, 2020, 11:51 UTC

Вполне валидный пост про сравнение Apache Pulsar с Apache Kafka: https://www.kai-waehner.de/blog/2020/06/09/apache-kafka-versus-apache-pulsar-event-streaming-comparison-features-myths-explored/

Kai Waehner Pulsar vs Kafka - Comparison and Myths Explored - Kai Waehner Apache Kafka versus Apache Pulsar - which one to choose? Pros and cons, popular myths, and non-technical criteria explained to solve your business problem.

Post #149 595 Jun 10, 2020, 06:17 UTC

В @dataeng_chat не так давно затрагивали тему про OLAP базы, упомянул Apache Pinot, тёмную лошадку среди распределенных аналитических БД. И вот на просторах сети вышла интересная статья про анализ текста средствами Apache Pinot: https://medium.com/apache-pinot-developer-blog/text-analytics-on-apache-pinot-cbf5c45d282c

Medium Creating a full-text search engine in Apache Pinot Apache Pinot is a real-time distributed OLAP datastore, built to deliver scalable real time analytics with low latency.

Post #148 554 Jun 9, 2020, 14:03 UTC

https://www.infoq.com/podcasts/slack-building-resilient-data-engineering/

InfoQ Josh Wills on Building Resilient Data Engineering and Machine Learning Products at Slack Josh Wills, a software engineer working on data engineering problems at Slack, discusses the Slack data architecture and how they build and observe their pipelines.

Post #147 631 Jun 7, 2020, 05:20 UTC

https://www.youtube.com/watch?v=MxiKfMocXxM & Python 🐍

YouTube Building a Telegram bot with Apache Kafka and ksqlDB ✍️Read more: https://rmoff.dev/5e9d4 👾Try it out: https://github.com/confluentinc/demo-scene/tree/master/ksqldb-twitter/telegram_ksqldb_bots Imagine you’ve got a stream of data; it’s not “big data,” but it’s certainly a lot. Within the data, you’ve got…

Older posts →