На вопрос «Чем занимается инженер данных?» можно ответить по-разному
Можно совсем кратко — он выстраивает архитектуру данных, решает проблемы заказчика и делает его жизнь лучше.

А можно подробнее и с наглядным примером
BetPawa — беттинговый сервис, который много работает с OLTP, обработкой транзакций в реальном времени. Компания столкнулась с тем, что ее DWH не справляется с постоянным потоком данных. Они обрабатывались долго и не всегда корректно отображались в отчетах, а само хранилище работало медленно, ненадежно и требовало слишком много ресурсов.

Мы спроектировали архитектуру для заказчика и выстроили новые процессы инжиниринга. В результате — быстрое, гибко масштабируемое DWH, которое работает намного производительнее и уменьшает количество нестыковок в данных.

🔵 Стек: ClickHouse, Kafka, Redash
🔵 Результат: довольный заказчик и сильный кейс в портфолио
🔵 Подробности: на сайте

Именно с такими задачами работают наши инженеры — иногда сложными, иногда очень творческими, но всегда интересными.

Кстати, сейчас у нас открыта вакансия Data Engineer, и у вас есть возможность присоединиться к нашей команде!