Data Engineering & Distributed Systems
Contact @adilkhash
Post #379
2.02K
Channel Public Channel
DA DataEng
@dataeng
- Subscribers
- 4.39K
- Photos
- 43
- Videos
- 0
- Links
- 547
Showing posts older than #380 · Back to latest
Older Posts 20 shown
Post #378
1.4K
Forwarded from DevBrain
Крутейшие доклады с Python Web Conf 2021: https://www.youtube.com/playlist?list=PLt4L3V8wVnF4iB8pGfkR7eozIJPwCM7vv
Post #377
1.53K
Post #376
1.87K
Post #375
1.5K
Forwarded from DE or DIE
Мы опубликовали материалы митапа DE or DIE #7: https://deordie.org/meetups/07/ (видео докладов + презентации в формате PDF).
DE or DIE DE or DIE #7 DE or DIE – митап, сделанный дата инженерами для дата инженеров. Post #374
1.51K
Forwarded from How to DWH with Python
Подготовил конспект курса по Spark. Поможет освежить важное в памяти или сэкономить время на просмотре. Сам курс к изучению рекомендую.
#briefly #spark Spark Starter Kit
https://telegra.ph/Udemy-Spark-Starter-Kit-part-1-06-19
What's inside:
— Hadoop and Spark comparison: storage, MapReduce, speed, resources management.
— Challenges Spark tries to address.
— How Spark achieves high efficiency.
— How Spark achieves fault-tolerance.
— What is RDD.
Ссылка на курс: Spark Starter Kit
Telegraph Udemy: Spark Starter Kit, part 1 Spark vs Hadoop: who wins? Link to lecture. Hadoop = HDFS + MapReduce. Spark is not a replacement for Hadoop. In particular, Spark does not come with its own storage: it leverages existing one like HDFS, S3, etc. Distributed filesystem are preferred to accelerate… #briefly #spark Spark Starter Kit
https://telegra.ph/Udemy-Spark-Starter-Kit-part-1-06-19
What's inside:
— Hadoop and Spark comparison: storage, MapReduce, speed, resources management.
— Challenges Spark tries to address.
— How Spark achieves high efficiency.
— How Spark achieves fault-tolerance.
— What is RDD.
Ссылка на курс: Spark Starter Kit
Post #373
1.77K
Нашел видео про Dagster от одного из его авторов: https://www.youtube.com/watch?v=MF5OaQEOF2E
Он у меня "на карандаше", хочу попробовать и написать небольшой туториал в блоге.
YouTube An Introduction to Dagster: The orchestrator for the full data lifecycle - UDEM June 2021 Nick Schrock covers the principles and origin of Dagster. Dagster is a new type of workflow engine: a data orchestrator. Moving beyond just managing the ordering and physical execution of data computations, Dagster considers the entire data application lifecycle.… Он у меня "на карандаше", хочу попробовать и написать небольшой туториал в блоге.
Post #372
2K
Сказка про Apache Kafka: https://www.gentlydownthe.stream/
Post #371
1.51K
Прямо сейчас идёт митап по dataeng: https://www.youtube.com/watch?v=KzVFf65owck
Post #370
2.15K
Про новую роль Analytics Engineer: https://youtu.be/C5UcxBwdCEg
YouTube Analytics Engineer: New Role in a Data Team - Victoria Perez Mola We talked about:
00:00 DataTalks.Club intro
02:45 Victoria’s background
04:05 A typical day as an Analytics Engineer
06:49 What is DBT?
10:04 Tools for Analytics Engineers
11:48 How Victoria became an Analytics Engineer
14:34 Difference between an analytics… Post #368
1.66K
Forwarded from Kseniia Tomak
DE or DIE #7
Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!
Дата и время: 16 июня (среда) 18:00
Формат: Онлайн (трансляция на YouTube)
Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/
Темы:
18:00-19:00. Handling late data. How to make the right choice? - Дарья Буланова
19:15-20:15. Ingestion and historization in the Data Lake? - Илья Тодор
20:15-20:45. After Show - организаторы DE or DIE и спикеры
(*): Несмотря на англоязычные названия доклады будут на русском языке.
Ждем вас в следующую среду. Ссылку на трансляцию опубликуем за час до мероприятия.
Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!
Дата и время: 16 июня (среда) 18:00
Формат: Онлайн (трансляция на YouTube)
Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/
Темы:
18:00-19:00. Handling late data. How to make the right choice? - Дарья Буланова
19:15-20:15. Ingestion and historization in the Data Lake? - Илья Тодор
20:15-20:45. After Show - организаторы DE or DIE и спикеры
(*): Несмотря на англоязычные названия доклады будут на русском языке.
Ждем вас в следующую среду. Ссылку на трансляцию опубликуем за час до мероприятия.
Post #367
1.12K
Forwarded from Инжиниринг Данных (Dmitry Anoshin)
8 июня Иван Трусов - Solution Architect Databricks в Берлине расскажет нам про платформу Databricks и Lakehouse.
У нас запланирована целая серия вебинаров с русскоговорящими архитекторами Databricks, stay tuned!
Хочу рассказать как со всеми ними познакомился. Так как я внедряю Azure Databricks в Microsoft Gaming/Xbox, то спустя какое-то время я устал париться с поддержкой Azure и ждать неделями их бесполезные ответы, я написал директору Azure Databricks в Microsoft и попросил помочь с CI/CD, в итоге наc соединили с командой архитекторов в Берлине и Амстердаме и я рассказал им про datalearn и попросил выступить. Мир тесен!
PS CI/CD pipeline уже работает!
У нас запланирована целая серия вебинаров с русскоговорящими архитекторами Databricks, stay tuned!
Хочу рассказать как со всеми ними познакомился. Так как я внедряю Azure Databricks в Microsoft Gaming/Xbox, то спустя какое-то время я устал париться с поддержкой Azure и ждать неделями их бесполезные ответы, я написал директору Azure Databricks в Microsoft и попросил помочь с CI/CD, в итоге наc соединили с командой архитекторов в Берлине и Амстердаме и я рассказал им про datalearn и попросил выступить. Мир тесен!
PS CI/CD pipeline уже работает!
Post #366
3.51K
Интересные, на мой взгляд, доклады PyCON US 2021:
— Hacking Dask: Diving Into Dask Internals
— Dask-SQL: Empowering Pythonistas for Scalable End-to-End Data Engineering
— Event-driven applications: Apache Kafka and Python
— Python Performance at Scale - Making Python Faster at Instagram
— Data Processing on Ray
— Large Scale Data Validation with Spark and Dask
YouTube TUTORIAL / James Bourbeau, Julia Signell / Hacking Dask: Diving Into Dask;s Internals Dask is a popular Python library for scaling and parallelizing Python code on a single machine or across a cluster. It provides familiar, high-level interfaces to extend the PyData ecosystem (e.g. NumPy, Pandas, Scikit-Learn) to larger-than-memory or distributed… — Hacking Dask: Diving Into Dask Internals
— Dask-SQL: Empowering Pythonistas for Scalable End-to-End Data Engineering
— Event-driven applications: Apache Kafka and Python
— Python Performance at Scale - Making Python Faster at Instagram
— Data Processing on Ray
— Large Scale Data Validation with Spark and Dask
Post #365
1.32K
Forwarded from Kseniia Tomak
У нас готов новый выпуск того самого дайджеста, о котором мало кто слышал:
https://digest.deordie.org/04_A_spark_of_the_summer_sun/
_____
Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues
https://digest.deordie.org/04_A_spark_of_the_summer_sun/
_____
Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues
Post #364
1.29K
Post #363
1.31K
Онлайн конференция по разработке параллельных и распределенных систем — Hydra 2021
Несколько десятков докладов о распределенных базах данных, распределенной обработке потоков, блокчейне, отказоустойчивости распределенных систем, моделях памяти и многом другом, что относится к работе с подобными технологиями.
Среди докладов:
✔️ Маркус Куппе, «Workshop: TLA+»
Огромный воркшоп по работе с языком для дизайна распределенных систем под руководством основного разработчика среды TLA+ toolbox.
✔️ Энди Павло, «The Official Ten-Year Retrospective of NewSQL Databases»
Обзор десятилетней истории NewSQL от зарождения до современного состояния и попробует предсказать, как NewSQL изменится в будущем.
✔️ Нейтан ВанБеншотен, «Fearless Global Transactions with CockroachDB»
Доклад о том, как CockroachDB помогает работать приложениям с распределенной архитектурой.
Смотрите всю программу и покупайте билеты на https://bit.ly/2T9rVCP
👉 Если решили сходить, то используйте промокод на Personal-Standard билет: DataEng2021JRGpc
Несколько десятков докладов о распределенных базах данных, распределенной обработке потоков, блокчейне, отказоустойчивости распределенных систем, моделях памяти и многом другом, что относится к работе с подобными технологиями.
Среди докладов:
✔️ Маркус Куппе, «Workshop: TLA+»
Огромный воркшоп по работе с языком для дизайна распределенных систем под руководством основного разработчика среды TLA+ toolbox.
✔️ Энди Павло, «The Official Ten-Year Retrospective of NewSQL Databases»
Обзор десятилетней истории NewSQL от зарождения до современного состояния и попробует предсказать, как NewSQL изменится в будущем.
✔️ Нейтан ВанБеншотен, «Fearless Global Transactions with CockroachDB»
Доклад о том, как CockroachDB помогает работать приложениям с распределенной архитектурой.
Смотрите всю программу и покупайте билеты на https://bit.ly/2T9rVCP
👉 Если решили сходить, то используйте промокод на Personal-Standard билет: DataEng2021JRGpc
Post #362
1.55K
Забавное видео "Welcome to the world of Data Engineers at Netflix"
https://youtu.be/N8SJPb5JpOA
YouTube Welcome to the world of Data Engineers at Netflix Data-driven decision-making plays a critical role in supporting Product Innovation at Netflix. Data is at the heart of our Product Development Strategy - be it a product launch decision via rigorous experimentation or personalized recommendations with algorithms… https://youtu.be/N8SJPb5JpOA
Post #361
1.31K
Приглашаем на бесплатный закрытый мастер-класс "Быстрый старт в SQL" 3 июня в 19:00 от Онлайн Школы IQBI.
Мастер-класс будет полезен тем, кто создает отчетность или работает с анализом данных и статистикой, но все еще не изучил SQL.
🎓 SQL - это мощный инструмент для анализа и преобразования данных, который позволяет аналитикам, финансистам, биайщикам и даже маркетологам обращаться к различным базам данных.
У всех крупных компаний есть собственные базы данных, и чтобы создавать отчеты, дашборды и графики вам нужно правильно формулировать запросы к этим БД на языке SQL.
Сертифицированный тренер Microsoft Дмитрий Пилюгин ответит на популярные вопросы, которые возникают в начале изучения SQL:
🔹 Что такое SQL и РСУБД?
🔹 Почему знание SQL нужно аналитикам, финансистам и др.?
🔹 Какой карьерный путь открывается перед SQL-разработчиком?
🔹 Какие скрытые плюсы в том, чтобы знать SQL?
🔹 Для каких задач компании применяют SQL?
🔹 Как быстро и эффективно обучиться языку SQL
Регистрация: https://vk.cc/c2ppFx
Мастер-класс будет полезен тем, кто создает отчетность или работает с анализом данных и статистикой, но все еще не изучил SQL.
🎓 SQL - это мощный инструмент для анализа и преобразования данных, который позволяет аналитикам, финансистам, биайщикам и даже маркетологам обращаться к различным базам данных.
У всех крупных компаний есть собственные базы данных, и чтобы создавать отчеты, дашборды и графики вам нужно правильно формулировать запросы к этим БД на языке SQL.
Сертифицированный тренер Microsoft Дмитрий Пилюгин ответит на популярные вопросы, которые возникают в начале изучения SQL:
🔹 Что такое SQL и РСУБД?
🔹 Почему знание SQL нужно аналитикам, финансистам и др.?
🔹 Какой карьерный путь открывается перед SQL-разработчиком?
🔹 Какие скрытые плюсы в том, чтобы знать SQL?
🔹 Для каких задач компании применяют SQL?
🔹 Как быстро и эффективно обучиться языку SQL
Регистрация: https://vk.cc/c2ppFx
Post #360
1.12K
Forwarded from There will be no singularity
Алибаба заопенсорсила PolarDB для посгреса. PolarDB это распределенная реляционная система управления БД, совместимая с pg, mysql и oracle. Аналог AWS Aurora.
https://github.com/alibaba/PolarDB-for-PostgreSQL
ру версия - https://www.opennet.ru/opennews/art.shtml?num=55233
по наводке @oleg_log
https://github.com/alibaba/PolarDB-for-PostgreSQL
ру версия - https://www.opennet.ru/opennews/art.shtml?num=55233
по наводке @oleg_log
Post #359
1.4K
Ещё не читал, но решил всё таки поделиться с вами интересной статьёй: https://a16z.com/2021/05/27/cost-of-cloud-paradox-market-cap-cloud-lifecycle-scale-growth-repatriation-optimization/
