⭐ Single Person Team в Data Engineering

В предыдущем посте упомянул: На протяжении 4-х лет я единственный Data Engineer в команде.

Эта фраза вызвала вопрос в комментах, на который есть желание ответить развернуто.

В целом, если бы я обозначал границы моей деятельности, то сделал бы это в двух плоскостях.

🔸По типу деятельности:

— Support / Bugfixing

Поддержка текущих операций, исправление ошибок: dbt jobs, Data Integration, schema migration (backend changes), data mapping

— New features

Появление новых и эволюция текущих: витрины данных, метрики, интеграции (-> DWH, DWH ->)

— Refactoring

Своевременный анализ и избавление от устаревших, неиспользуемых частей системы, технологий и подходов. Переход на что-то более управляемое, централизованное. Как результат, я инвестирую усилия в то, чтобы в будущем избавлять себя и команду от потока бессмысленных и поглощающих время фиксов и исправлений (иногда в авральном режиме).

— Infrastructure & Tooling

В основном, это стратегические задачи: выбор новой database platform (Amazon Redshift -> Snowflake), прототипы дашбордов в новых BI-тулах (Looker -> ??), Semantic Layer (LookML -> Cube / MetricFlow), reverse-ETL PoC (Census / Hightouch)

🔸По сфере:

— Анализ требований

Обязателен перед тем как я берусь делать что-либо. Обычно сводится в уточняющим вопросам в Slack/Jira (зачем делать это? какие альтернативы? учтены ли будущие изменения?). В результате у меня есть понимание того, что должно получиться в результате, как и кем это будет использоваться, и возможные пути решения (2-3 альтернативных варианта).

— Интеграция данных

Стараюсь использовать централизованный подход. Максимально все источники данных через SaaS Hevo.

— Моделирование данных

Результат - цепочка преобразований в dbt-проекте, заканчивающаяся Data Mart. Моя задача - получить результат с минимальными изменениями (используя те преобразования, которые уже в наличии).

— Поставка данных (data services)

50% - это всевозможные дашборды и визуализации. Остальные - это работающие интеграции с внешними системами: CRM, Customer Engagement, Backend, etc.

— Поддержка инфраструктуры

Большая часть сервисов - managed: Hevo, Redshift, Census. Конфигурация нужно, но нет необходимости мониторить CPU, добавлять диски и т.п. Есть работа, связанная с security, privacy, access segregation.
С networking, VM provisioning, Container orchestration (k8s) помогает SRE (удивительно, но который тоже Single Person Team 😄)

🌐 @data_apps | Навигация по каналу