Data Engineering & Distributed Systems
Contact @adilkhash
Post #358
3.91K
Channel Public Channel
DA DataEng
@dataeng
- Subscribers
- 4.39K
- Photos
- 43
- Videos
- 0
- Links
- 547
Showing posts older than #359 · Back to latest
Older Posts 20 shown
Post #357
1.76K
А что у нас тут в пятницу произошло?
Релиз Apache Airflow 2.1. Ребята подвезли вагон интересных фич
Пакет уже доступен для установки через PyPI: apache airflow 2.1.0
PyPI apache-airflow Programmatically author, schedule and monitor data pipelines Релиз Apache Airflow 2.1. Ребята подвезли вагон интересных фич
Пакет уже доступен для установки через PyPI: apache airflow 2.1.0
Post #356
1.6K
Post #355
1.51K
Post #354
1.39K
Post #353
1.76K
SQL Dashboard на Django: https://simonwillison.net/2021/May/10/django-sql-dashboard/
Post #352
1.74K
Post #351
1.53K
Forwarded from PyMagic
В этот субботний выходной можно и подраслабиться от кодинга https://youtu.be/UJZSk-5ZE4o
YouTube Основные ОТЛИЧИЯ DATA ENGINEER, DATA SCIENTIST и DATA ANALYST Канал "Лучшая рабоота" https://youtu.be/I_NQPeMM9k0
Новая группа про Data Science ВКонтакте https://vk.com/pymagic
Курс Data Science для начинающих PyMagic
Подробная информация о курсе, программа обучения по ссылке - https://pymagic.ru
Instagram* h… Post #350
1.59K
Post #348
1.43K
Сегодня Настя вещает про Airflow & MLFlow у себя на канале: https://bit.ly/33faORO
YouTube Airflow и MLFlow автоматизаций пайплайнов Machine Learning / MLOps Разверните облачный сервер для Data Science в Selectel: https://slc.tl/JSss5, получите 1000 бонусных рублей по промокоду miracl6
Новая группа про Data Science ВКонтакте https://vk.com/pymagic
Курс Data Science для начинающих PyMagic
Подробная информация… Post #347
1.58K
Если вдруг вы решили апгрейднуться до Airflow 2.0, то возможно вам будет полезен гайд от бывалых https://eatcodeplay.com/upgrading-to-airflow-2-0-massive-performance-wins-and-lessons-learned-8c6a15cec8e7
Post #346
1.23K
Forwarded from Data1984
New data engineering podcast episode about Superset with author of Superset and Airflow.
Data Engineering Podcast Self Service Data Exploration And Dashboarding With Superset <div class="wp-block-jetpack-markdown"></div>
<div class="wp-block-jetpack-markdown"><h2>Summary</h2>
<p>The reason for collecting, cleaning, and… Post #345
1.66K
Воу, в Amazon Redshift появилась поддержка JSON: https://aws.amazon.com/ru/about-aws/whats-new/2021/04/announcing-general-availability-of-amazon-redshift-native-json-and-semi-structured-data-support/
Amazon Announcing general availability of Amazon Redshift native JSON and semi-structured data support Post #344
1.56K
Планировал написать про кастомный бэкенд для XCom в Airflow, а ребята из Astronomer уже это сделали: https://www.astronomer.io/guides/custom-xcom-backends
Post #343
1.38K
Бесплатный вебинар «Как запустить проект в Kubernetes за 60 минут» от Mail․ru Cloud Solutions
Kubernetes — сложная для внедрения технология, если запускать ее самостоятельно, преодолевая все подводные камни и неочевидные препятствия. Специалисты MCS помогут вам подготовиться к возможным трудностям.
На вебинаре от Mail․ru Cloud Solutions 29 апреля вы узнаете, как быстро задеплоить проект в Kubernetes за 60 минут, как справиться со всеми сложностями и настроить автоматизированный конвейер разработки приложения.
По итогам вебинара вы получите готовый репозиторий в GitHub и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.
Мероприятие пройдет в четверг, 29 апреля, онлайн.
Начало в 17:00 по Москве.
Регистрация обязательна: https://vk.cc/c1ejXC
Kubernetes — сложная для внедрения технология, если запускать ее самостоятельно, преодолевая все подводные камни и неочевидные препятствия. Специалисты MCS помогут вам подготовиться к возможным трудностям.
На вебинаре от Mail․ru Cloud Solutions 29 апреля вы узнаете, как быстро задеплоить проект в Kubernetes за 60 минут, как справиться со всеми сложностями и настроить автоматизированный конвейер разработки приложения.
По итогам вебинара вы получите готовый репозиторий в GitHub и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.
Мероприятие пройдет в четверг, 29 апреля, онлайн.
Начало в 17:00 по Москве.
Регистрация обязательна: https://vk.cc/c1ejXC
Post #342
1.39K
Forwarded from Mikhail Kumachev
Data Engineering Digest
Коллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering Digest
Мы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а.
Наш пилотный выпуск можно посмотреть здесь: https://digest.deordie.org
Все мы с вами читаем статьи, смотрим видео с конференций, и находим массу полезного в сети. Однако, не все материалы одинаково полезны. При поддержке сообщества мы решили отбирать самое интересное и публиковать в виде дайджеста.
Нам нужна ваша поддержка. Прямо сейчас можно стать контрибьютером.
Приходите в наш issue tracker: https://github.com/deordie/deordie-digest/issues и добавляйте статьи, которые вам показались интересными. Обязательно добавьте 1-2 предложения, что вы вынесли интересного из этой статьи.
Также вы можете проголосовать за понравившиеся вам статьи (+1), самые интересные мы будем публиковать в следующих выпусках.
digest.deordie.org DE or DIE: Digest – Data Engineering Digest Коллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering Digest
Мы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а.
Наш пилотный выпуск можно посмотреть здесь: https://digest.deordie.org
Все мы с вами читаем статьи, смотрим видео с конференций, и находим массу полезного в сети. Однако, не все материалы одинаково полезны. При поддержке сообщества мы решили отбирать самое интересное и публиковать в виде дайджеста.
Нам нужна ваша поддержка. Прямо сейчас можно стать контрибьютером.
Приходите в наш issue tracker: https://github.com/deordie/deordie-digest/issues и добавляйте статьи, которые вам показались интересными. Обязательно добавьте 1-2 предложения, что вы вынесли интересного из этой статьи.
Также вы можете проголосовать за понравившиеся вам статьи (+1), самые интересные мы будем публиковать в следующих выпусках.
Post #341
1.31K
Post #340
1.6K
Вышел релиз Apache Airflow 2.0.2: https://github.com/apache/airflow/releases/tag/2.0.2
Пофикшено немало багов, тем кто задумывается об апгрейде на 2-ю версию инструмента уже можно начинать пробовать это делать.
Пофикшено немало багов, тем кто задумывается об апгрейде на 2-ю версию инструмента уже можно начинать пробовать это делать.
Post #339
5.09K
Про Query Plan в PostgreSQL: https://arctype.com/blog/postgresql-query-plan-anatomy/
Post #338
1.66K
Про структуру B-tree в PostgreSQL: https://www.youtube.com/watch?v=n5-xEEQFqPY
YouTube B-tree indexes - learn more about the heart of PostgreSQL Talk by Anastasia Lubennikova
https://www.socallinuxexpo.org/scale/18x/presentations/b-tree-indexes-learn-more-about-heart-postgresql
This talk will offer a deep dive into the B-tree indexes architecture. It covers the newest major features of PostgreSQL…