🟡 Дайджест самых интересных публикаций по темам:

Data Integration

— ▶ Успешный SaaS на рынке Аналитики – cтановление и планы развития / Алексей Сидоров из mybi connect
— 👨‍💻 Сказ о том как я realtime replication чинил (Kafka + Debezium + Clickhouse)
— 👑 Особенности работы с External Data (на примере обменных курсов валют)
— 🏆 Удержать стоимость SaaS ELT на уровне $13K / year вместо повышения цены в 2,35 раза
— 👀 Где взять динамический датасет для целей тестирования?
— ⚡️ Real time replication работает как в сказке! Но всё далеко непросто
— ⚙️ Clickhouse is advancing at data integration
— Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWH
— Extract - Load как сервис и как собственное решение. Поиск баланса и дзен

Database engines

— 🟢 Snowflake Cost Management
— ❄️ Финализирую Redshift to Snowflake transition
— ✅ Как выбрать СУБД для аналитики? Мой список критериев для выбора Analytics Database
— ❄️ Наступает время Snowflake
— ❄️ Snowflake - перспективный лидер, и я ищу подводные камни
— ⚡️ I have run a Proof of Concept with Redshift Serverless

Data Modeling

— ▶ SQL + dbt = God Mode Data Modeling / Подходы к созданию витрины корпоративных метрик
— 🔳 The Ultimate Guide to dbt
— 🙂 Переварил и делюсь ключевыми идеями Tristan Handy (CEO dbtLabs) о новом опыте работы с dbt
— ❓ Что делать если в СУБД отсутствуют необходимые функции и преобразования?
— 🚀 Ключевые метрики компании на дашборде - путь от hardcoded cube к live calculated measures
— Моделирование отчета для BI в виде сводной таблицы со сравнением периодов
— Работа с ГЕО-данными в DWH: координаты, зоны, агрегация
— Зрелость DBT-проекта. Есть, куда расти?
— Стратегия инкрементального наполнения витрин: необходимость, реализация, подводные камни

Business Intelligence

— ⭐ Apache Superset — продолжаю использовать и приятно удивлен
— Business Intelligence 101: Всё самое важное о BI инструментах
— 👀 Продлеваю контракт с Looker (Annual Contract Renewal)
— 🔼 Aggregate awareness
— ☄ Хочу 100 графиков на дашборде и чтобы отображались за 10 секунд
— 🙂 Datalens в Open Source

Semantic Layer

— 😒 dbt Semantic Layer - сплошное разочарование
— ⚡️ Replacing Looker with Cube + Superset
— Семантический слой для Аналитики ключевых метрик – dbt Metrics vs. Cube
— Аналитика ключевых метрик компании: dbt Metrics / Cube.js / LookML

DataOps and DevOps

— 🙂 Могли бы покритиковать архитектуру Data Stack?
— 😎 Уже более полугода использую Census App для задач reverse ETL
— Why I use dev containers?
— 💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census

Orchestrating jobs & DAGs

— 🔸 Развернул Self-hosted runner for Github Actions
— 🔺 Рецепт Airflow DAG - а так ли правильно мы его готовим?
— ⚙️ Добавить логику повторных попыток retry в оркестрацию расчетов DAG
— Мои рекомендации по альтернативам (для оркестрации dbt jobs)
— Оркестрация dbt jobs для Dev, Test, Prod без головной боли

Business Impact and Value

— 🤯 Нерелевантные, демотивирующие и бессмысленные задачи
— ☄ Вебинар Сквозная аналитика + Modern Data Stack
— ⭐ Single Person Team в Data Engineering
— Cчитаю, что чем выше уровень maturity в компании, тем меньше должен быть sum of data work.
— 🚀 Released myBI dbt Core and myBI Market showcase
— 🚀 Аналитика продуктивности команд разработки на основе данных Github
— End-to-End решение для аналитики на примере источника MaestroQA

Learning

— ✅ Первый дебютный запуск серии вебинаров Designing Modern Data Apps завершился!
— 🟢 [Designing Modern Data Apps] Цикл вебинаров
— 💰 Подписка на ресурсы издательства O'Reilly - одно из самых выгодных вложений
— 👀 Как вы структурируете свои мысли?


🌐 @data_apps | Навигация по каналу