🔰 Быстро и просто устроить ENVs для Data: DEV, TEST, PROD

Как устроен процесс разработки? Какие среды в наличии? Насколько быстро можно задеплоить изменения в прод?

Часто общаюсь с людьми на эти темы. От многих слышу о белых пятнах и несовершенствах в установленных процессах.

✅ Зачем это делать

DEV: Изолированная среда для каждого члена команды с правами владельца

— Каждый пользователь - владелец своей среды (CREATE, INSERT, UPDATE, DELETE, DROP)
— Интерактивная разработка - написал код, создал объекты в БД, проверил, сделал коммит, повторил
— Люди не мешают друг другу - среды изолированы и независимы
— Тот же набор данных, только в масштабе (1:100)

TEST: независимые и беспристрастные автоматизированные проверки

— Осуществляется запуск для законченного объема работы (Pull Request)
— Sanity check: код работает и расчеты завершаются без ошибок
— Advanced testing: data quality, unique, not null, reference, etc.
— Без успешного завершения тестов код нельзя выводить в PROD

PROD: основная среда, которую используют company wide: DWH, Semantic layer, BI dashboards, Pipelines

— SLA - есть обязательства и ответственность перед пользователями и потребителями
— Любые изменения прошли все этапы проверки
— Важна производительность вычислений
— Покрытие тестами и ожиданиями позволит обнаружить отклонения и ошибки

💬 Кто использует какие-то другие среды, расскажите что это и зачем?

🌐 @data_apps | Навигация по каналу