DataEng

Выпустил августовский выпуск https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/

Ещё раз про data mesh: https://www.montecarlodata.com/decoding-the-data-mesh/

Хотите пилить расширения для PostgreSQL на Rust? Оно у нас есть: https://tech.marksblogg.com/postgresql-extension-rust.html

юмор дата инженеров 😁

Обзор Open Source решений из мира данных: https://www.datafold.com/blog/the-modern-data-stack-open-source-edition

Маленькая балалайка для анализа метаданных в базе данных PostgreSQL: https://github.com/marklit/datafluent_pg
Написана на питоне, удобно запускать из консоли. В результате формирует отчёт в Excel 🤖

Пост в блоге автора: https://tech.marksblogg.com/data-fluent-for-postgresql.html

Ребята из #CloudMTS предлагают облачные сервисы для быстрого запуска новых ИТ-продуктов. Актуально для разработчиков, кто хочет выйти на рынок раньше остальных. Сервисами можно пользоваться бесплатно 30 дней!

Реализуйте ваши проекты на готовой облачной IT инфраструктуре:
✔️ Получите всё, что нужно для разработки цифрового продукта: IaaS, облачный суперкомпьютер на GPU, резервное копирование, хранилище S3, CDN, WAF, сервисы Azure и многое другое.
✔️ Используйте любое количество сервисов одновременно.
✔️ Никаких ограничений по функционалу и скрытых платежей.

Выведите свой продукт на рынок в рекордные сроки с #CloudMTS!

Узнать подробности можно по ссылке: https://bit.ly/2VhG1U2

У ребят из dbt есть гайд про Analytics Engineer: https://www.getdbt.com/analytics-engineering/

Стали доступны доклады с Airflow Summit 2021 🔥. Из наиболее интересных тем:

- The new modern data stack Airbyte Airflow DBT
- The Newcomer's Guide to Airflow's Architecture
- Writing Dry Code in Airflow
- Looking ahead: What comes after Airflow 2 0
- Lessons Learned while Migrating Data Pipelines from Enterprise Schedulers to Airflow
- Deep dive in to the Airflow scheduler
- Dataclasses as Pipeline Definitions in Airflow

И многие другие. Бегом изучать на канале Apache Airflow.

Про полнотекстовый поиск в PostgreSQL, если вы о нём не знали: https://blog.crunchydata.com/blog/postgres-full-text-search-a-search-engine-in-a-database
К слову, у меня в блоге khashtamov.com как раз используется Full-Text Search от Postgres средствами Django.

Всем привет! 🤝
Наверняка среди моих подписчиков есть люди, увлеченные темой Data Science. Мой товарищ Ренат Алимбеков (@alimbekovkz) недавно выпустил мануал по подготовке к интервью на роль data scientist. Ренат неоднократный призёр соревнований на Kaggle, а ныне data scientist в Beeline, где занимается задачами в области компьютерного зрения.

Наверняка многие из вас помнят, что Ренат выпускал бесплатный курс на моей образовательной платформе: Анализ медицинских изображений в Python, также он ведёт свой блог и канал.

Приобрести его руководство Data Science Interview Guide можно по ссылке на платформе Gumroad.

Используйте промокод DATAENG, чтобы получить скидку 2$.

Я сейчас изучаю как можно больше информации по теме качества данных (Data quality), и наткнулся на парочку статей от Airbnb:

- Data Quality at Airbnb: Part 1 — Rebuilding at Scale
- Data Quality at Airbnb: Part 2 — A New Gold Standard

Если вам также есть чем поделиться по теме, то накидайте, пожалуйста, ссылок в комментариях.

Свет увидела новая распределенная SQL база данных на Rust (учебная): https://github.com/erikgrinaker/toydb
Автор также подробно описал её архитектуру: https://github.com/erikgrinaker/toydb/blob/master/docs/architecture.md

Ребята из IT Resume @it_resume собрали большую подборку авторских телеграмм-каналов для аналитиков. Там более 20 каналов на любой вкус - анализ данных, программирование, data engineering, data science и многое другое 👍

Теперь вам точно будет, что почитать на предстоящих выходных 🙃
Подробнее - в статье

Курсы по Redis стали доступны в режиме self-paced обучения бесплатно: https://university.redislabs.com/

Конференция о дата-инжиниринге SmartData 2021 ищет спикеров 🎙

Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!

В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили отложить из-за непредсказуемости ввода ограничений на офлайн мероприятия).

Темы, которые ждут больше всего:
✔️ Стриминг;
✔️ СУБД и хранилища для больших данных;
✔️ Архитектура DWH;
✔️ Data governance;
✔️Технологии построения ETL;
✔️ Оркестрация и MLOps.

Но этим списком не ограничивается — вы можете подать заявку с любой темой из области дата-инжиниринга.

Если все-таки сомневаетесь, то программный комитет всегда готов обсудить актуальность темы и помочь выбрать правильный вектор доклада. Плюс, ребята помогут с прокачкой ваших ораторских навыков, если у вас мало опыта в публичных выступлениях. 

👉Подать заявку и узнать подробности можно на сайте.
❓Вопросы присылайте на почту program@smartdata.ru

Ожидается серия постов про Kafka на службе у кибербезопасников: https://www.kai-waehner.de/blog/2021/07/02/kafka-cybersecurity-siem-soar-part-1-of-6-data-in-motion-as-backbone/