Data Engineering & Distributed Systems
Contact @adilkhash
Post #29
674
В сети появился блог, где, по словам автора, каждую среду будет появляться статья на тему основ распределённых систем в течение года: http://bit.ly/2ArN4fe
Channel Public Channel
DA DataEng
@dataeng
- Subscribers
- 4.39K
- Photos
- 43
- Videos
- 0
- Links
- 547
Showing posts older than #30 · Back to latest
Older Posts 20 shown
Post #28
1.06K
В блоге Lyft появилась статья о том как компания использует Apache Airflow в своей работе: https://eng.lyft.com/running-apache-airflow-at-lyft-6e53bb8fccff
Post #27
777
Что необходимо знать разработчику о механизме хранения в базе данных? Узнайте в докладе Алекса Петрова: https://www.youtube.com/watch?v=V667vJzDvt4
YouTube 🚀 What Every Programmer Has to Know About Database Storage (Alex Petrov) 🗓️ Upcoming developer events: https://dev.events In the world of Big Data, it’s important to know how the Database Storage works in order to be able to pick a right tool right job. The talk covers evaluation techniques, to choose storage with best read, write… Post #26
625
Убер в прошлом году запустил в продакшен новую версию своей распределённой платёжной системы. Перед командой стояла цель — создать надёжную отказоустройчивую систему приёма платежей по всему миру для целого спектра продуктов комании: UberRide, UberEats, UberHealth, UberBusiness и тд. Что из этого получилось, смотрите в блоге комании.
Uber Engineering Blog Engineering Uber’s Next-Gen Payments Platform During a September 2018 meetup, Uber's Payments Platform team discusses how this technology supports our company's growth through an active-active architecture, exactly-once payment processing, and scalability across businesses. Post #25
665
Годный твиттер тред про проблемы в распределенных систем: https://twitter.com/janl/status/1072442448893358081?s=20
Twitter Jan Lehnardt A thread about handling deletes in distributed systems. You'd think that deleting a piece of data would be straightforward. As long as you're talking about deleting something on a single computer, it's not that hard. But once you add a network, the fun begins. Post #24
4.59K
Нашел на LinkedIn крутой пост про построение своего Data Warehouse на основе Open Source Software: Druid, Airflow и Superset BI: http://bit.ly/2EaCETX
Post #23
715
Вышел очередной выпуск Data Engineering Podcast. На этот раз гость программы Patrick Hunt, Tech Lead на проекте Apache Zookeeper. Разговор пойдёт о Zookeeper и его роли в построении распределённых систем: Apache Zookeeper As A Building Block For Distributed Systems
Data Engineering Podcast Apache Zookeeper As A Building Block For Distributed Systems with Patrick Hunt - Episode 59 Distributed systems are complex to build and operate, and there are certain primitives that are common to a majority of them. Rather then re-implement the same capabilities every time, many projects build on top of Apache Zookeeper. In this episode Patrick… Post #22
740
Лучшее введение в построение data pipelines, используя Apache Beam на Python — Hands on Apache Beam, building data pipelines in Python
Towards Data Science Hands on Apache Beam, building data pipelines in Python Apache Beam is an open-source SDK which allows you to build multiple data pipelines from batch or stream based integrations and run it in… Post #21
687
Воу-Воу! В AWS появилась Kafka как сервис. Новость об этом. Сам сервис можно пощупать здесь.
Post #20
684
В блоге у CTO Amazon Werner Vogels вышла хвалебная статья по поводу производительности и устойчивости Amazon Redshift: https://www.allthingsdistributed.com/2018/11/amazon-redshift-performance-optimization.html
Создаётся ощущение, что это ответка на статью https://www.concurrencylabs.com/blog/starburst-presto-vs-aws-redshift/
Создаётся ощущение, что это ответка на статью https://www.concurrencylabs.com/blog/starburst-presto-vs-aws-redshift/
Post #19
4.9K
Как Apache Kafka помогает обрабатывать 400 миллиардов сообщений в PayPal: http://bit.ly/2PNG322
YouTube Kafka at PayPal: Enabling 400 Billion Messages A Day Strata Data Conference 2018 @ NYC
Presenters: Kevin Lu, Na Yang, Maulin Vasavada Post #18
65
Forwarded from DevBrain
Бинго-бонго и джимбо-джамбо!
HighLoad++ начали выкладывать доклады с прошедшей одноименной конференции у себя на канале. Доклады выглядят многообещающими, вот самые вкусные тайтлы:
- Apache Kafka как основа для велосипедостроения
- Базы данных и Kubernetes
- Топ ошибок со стороны разработки при работе с PostgreSQL
- Анализ производительности запросов в ClickHouse
Посмотреть весь плейлист
YouTube Apache Kafka как основа для велосипедостроения / Николай Сивко (okmeter.io) Приглашаем на крупнейшую профессиональную конференцию для разработчиков высоконагруженных систем Saint HighLoad++ 2026
Подробнее: https://clck.ru/3QZHTb
Июнь, 2026
Санкт-Петербург, DESIGN DISTRICT DAA in SPb
---------
HighLoad++ Moscow 2018
Тезисы и… HighLoad++ начали выкладывать доклады с прошедшей одноименной конференции у себя на канале. Доклады выглядят многообещающими, вот самые вкусные тайтлы:
- Apache Kafka как основа для велосипедостроения
- Базы данных и Kubernetes
- Топ ошибок со стороны разработки при работе с PostgreSQL
- Анализ производительности запросов в ClickHouse
Посмотреть весь плейлист
Post #17
639
Распределённые системы требуют наличия некоторых знаний в области математики, но каких именно? Об этом вам расскажет Veronica Lopez в своём замечательно докладе The Math behind Distributed Systems
YouTube The Math Behind Distributed Systems - Veronica Lopez Formal verification of distributed systems is hard and expensive. Instead of dealing with it, modern distributed systems rely on tools like observability, extensive testing, and more recently, chaos engineering. Understanding the math behind distributed computing… Post #16
4.21K
Wow! Гайд наглядно объясняющий что такое распределённые системы, какие проблемы бывают, а главное, ВНИМАНИЕ, как достичь консенсуса в распределённых системах (paxos, raft): must read
Post #15
593
Небольшой отчёт о прошедшей конференции DataEngConf в Нью-Йорке: https://medium.com/memory-leak/recapping-the-dataengconf-eba9d09f06ae. По классике скоро будут опубликованы доклады на канале Hakka Labs.
Post #14
643
Нашел статью про проблемы с CDC (Change Data Capture). Change Data Capture - это подход, позволяющий транслировать данные из одного источника в другой, а по пути этими данными манипулировать. То есть выполнение классических ETL задач. Apache Kafka и Kafka Connect самые популярные инструменты для этого.
Но что будет, если схема базы данных изменится в обратно-несовместимое состояние? Об этих и других проблемах автор рассуждает в своей статье Kafka change data capture breaks database encapsulation
Но что будет, если схема базы данных изменится в обратно-несовместимое состояние? Об этих и других проблемах автор рассуждает в своей статье Kafka change data capture breaks database encapsulation
Post #13
635
Github опубликовал "вскрытие" об инциденте, произошедшем несколько дней назад. Напомню, что их систему штормило 24 часа, в это время наблюдались аномалии в виде неконсистетных данных. Более подробно об их распределенной системе
https://blog.github.com/2018-10-30-oct21-post-incident-analysis/
https://blog.github.com/2018-10-30-oct21-post-incident-analysis/
Post #12
633
К теме про распределённые системы. Автор Julia Evans — https://jvns.ca/
Post #11
710
В сети стали доступны доклады с прошедшего в Сан-Франциско саммита про Apache Kafka (Kafka Summit)
Смотреть http://bit.ly/2ERVIZs
Confluent Kafka Summit San Francisco 2018 - Confluent Confluent, founded by the creators of Apache Kafka, delivers a complete execution of Kafka for the Enterprise, to help you run your business in real time. Смотреть http://bit.ly/2ERVIZs
Post #10
684
Ярослав Ткаченко, Senior Data Engineer из Activision, на конференции dotScale 2018 рассказал как выглядит их Data Pipeline для игр серии Call of Duty — http://bit.ly/2O5itZf
Также Ярослав ведёт свой личный блог — https://sap1ens.com/
Также Ярослав ведёт свой личный блог — https://sap1ens.com/
