DataEng

Mastering a data pipeline with Python / Robson Luis Monteiro Junior (Microsoft)

https://youtu.be/25fUlUsmg38

CAP теорема для дата инженеров: https://www.analyticsvidhya.com/blog/2020/08/a-beginners-guide-to-cap-theorem-for-data-engineering/

Пример работы с aws-data-wrangler: https://aws.amazon.com/ru/blogs/big-data/optimize-python-etl-by-extending-pandas-with-aws-data-wrangler/

Компания Amazon открыла доступ к курсам по машинному обучению для всех желающих: https://www.amazon.science/latest-news/machine-learning-course-free-online-from-amazon-machine-learning-university

Сравнение Kafka и AWS Kinesis: https://medium.com/flo-engineering/kinesis-vs-kafka-6709c968813

В 2016 году во время PyCon US 2016 в Портленде я встретил Гвидо ван Россума во время networking-сессии в холле. Первый вопрос, который я ему тогда задал относился к реализации интерфейсов в Python (just like in Java). Есть ли шанс, что в будущих версиях Python мы увидим реализацию интерфейсов? На что был получен однозначный ответ, что этого не стоит ждать, для таких целей можно использовать абстрактные классы (модуль abc). После я поинтересовался его мнением про zope.interfaces, на что также была получена рекомендация их не использовать 😢

Но не так давно, шерстя просторы официальной документации, я наткнулся на интересную штуку, а именно на typing.Protocol. По своей сущности это самый настоящий интерфейс. А не так давно нашел и обзор этой штуки, статья must read: I Want A New Duck.

Если кратко, то Protocol в первую очередь нужен, если вы активно используете mypy для статического анализа кода. Наверняка вы могли сталкиваться с аннотациями на кастомные классы, когда в функцию или метод могут передаваться разные объекты, протокол/интерфейс (читай, общие методы) которых одинаковый.

В блоге Confluent появился пост-кейс с компанией Tencent по использованию Apache Kafka: https://www.confluent.io/blog/tencent-kafka-process-10-trillion-messages-per-day/
Tencent, к слову, причастна к PUBG, Call of Duty, WeChat и многим другим творениям. Нагрузка на кафку составляет 4 миллиона сообщений в секунду 😲

Интересный пост от подписчика @bryzgaloff про построение своего веб-трекера на ClickHouse: https://tproger.ru/articles/tproger-tracker-yandex-cloud/

делюсь бесплатной книгой https://get.oreilly.com/ind_rebuilding-reliable-data-pipelines-through-modern-tools.html

В сети стали доступны доклады с прошедшего Airflow Summit 2020.
Безусловно все докладчики выступали удалённо (мы этот год запомним навсегда)
Из докладов, которые хотелось бы отметить:

- Advanced Apache Superset for Data Engineers
- Data engineering hierarchy of needs
- Airflow the perfect match in our analytics pipeline
- Data flow with Airflow @ PayPal

Смотреть весь плейлист

Бесплатные лекции про распределённые системы от профессора Lindsey Kuper: https://www.youtube.com/playlist?list=PLNPUF5QyWU8O0Wd8QDh9KaM1ggsxspJ31

Подкаст с автором книги Database Internals Алексом Петровым: https://www.se-radio.net/2020/07/episode-417-alex-petrov-on-database-storage-engines/

Годный доклад от Гриши Петрова про навыки написания читаемого кода: https://www.youtube.com/watch?v=Sge_hycXb6E