Что такое data engineering

- Дата-инженеры отвечают за разработку и поддержку инфраструктуры обработки данных, которые затем используются аналитиками, дата-саентистами и обычными пользователями
- Помимо инфраструктуры, дата-инженеры определяют основную модель данных, при необходимости денормализуя ее для конкретных команд
- Основная часть работы – построение пайплайнов перекладывания данных из разных источников, контроль целостности и качества данных, процессинг данных на потоке, поддержка хранилищ данных