#outstaff

Ищем 1 Senior Data инженера
(ID 53761)

📌 Требования:
Обработка данных:
- Уверенное владение платформами потоковой обработки данных, такими как Apache NiFi/Airflow;
- Способность проектировать эффективные пайплайны для обработки данных;
- Навык разработки пайплайнов проверки качества данных;
- Практический опыт работы с Apache Spark и знание принципов его функционирования;
- Опыт программировании java/scala/python;
- Опыт работы с Kafka/RabbitMQ.

Хранение данных:
- Глубокий опыт эксплуатации реляционных СУБД, таких как PostgreSQL и ClickHouse от 3 лет;
- Опыт работы с S3/Hadoop;
- Опыт построение дата-архитектуры (DWH,OLAP,ELT/ETL/Data Lake/LakeHouse);
- Отличное знание SQL-запросов и умение эффективно применять их в работе;
- Опыт работы с NoSQL базами данных;
- Опыт работы и понимание работы распределенных SQL движков trino/dbt.

Управление данными:
- Твердое понимание основ управления качеством данных (Data Governance);
- Опыт работы с Data Catalog OpenMetadata/DataHub/Atlas.

Задачи:
- Создание и поддержка ETL-пайплайнов и типовых интеграционных решений в data platform;
- Проектирование, разработка и улучшение сложных ETL-процессов (в том числе разработки DAG для автоматизации);
- Реализация обработки потоковых данных;
- Разработка решений с различными системами хранения и распределенных SQL-движков;
- Внедрение подходов и процессов управления данными;
- Участие в подготовке пилотов и внедрении платформы.

О проекте:
ВАЖНО: Резюме прикрепляем в формате Word без лого вендора, фотографии кандидата и цветовых выделений.

Платформа — программный комплекс, предназначенный для построения и управления продуктами для работы с данными, с каталогом услуг и сервисов, устанавливаемым на аппаратные мощности, предоставляемые Заказчиком. Предоставляет удобный доступ к сервисам хранения, обработки и управления данными, предустановленным, проинтегрированным и преднастроенным в рамках Системы.

Цели Системы — предоставить заинтересованным отечественным компаниям инструментарий для развертывания и управления СУБД различных типов, в том числе в сложных, отказоустойчивых конфигурациях.

📍Локация: Россия
Гражданство: РФ, РБ
Срок привлечения: 6 месяцев с возможностью пролонгации
Время работы: UTC +3

📨 Регистрируйтесь, загружайте резюме на https://skillstaff.ru и оставляйте отклик на запрос
❗️Все актуальные запросы — https://skillstaff.ru/actual-requests/