Как строить структуру команд?
Дошли руки посмотреть видео Владимира Лагутинского “Дата команда. Цели , структура и управление”. Очень интересно рассказывается о структуре дата-команд. Под такими командами подразумеваются команды, сфокусированные на помощи бизнесу в принятии решений внутри организации. Владимир двигается от централизованной дата-команды, представляющей сервис для всех пользователей организации до различных распределённых вариантов. Централизованный сервис масштабируется плохо. Запросы бизнеса растут и такая команда не способна адекватно с ними справляться. Распределенные структуры (продуктовые команды с включенными туда дата-аналитиками и дата-инженерами) в целом эффективнее, но для этого каждую продуктовую команду придется снабдить дополнительно сотрудниками, что может оказаться дорогим удовольствием.
Для полноты картины немного не хватает описания Data Mesh как способа архитектурно и структурно децентрализовать работу с данными. О Data Mesh рассказывал Дмитрий Шостко у нас на митапе. Идея кратко в следующем: вместо одного DWH / Data Lake на организацию стоит разделить данные на несколько бизнес-доменов, каждый из которых поддерживает своя дата-команда. Перевод статьи от автора подхода Zhamak Dehghani есть на хабре.