🔶 Вакансия: Data Engineer
🔷 Компания: Лаборатория Касперского
🔶 Локация: #Москва
🔷 Вилка: от 150k RUR gross
🔶 Формат работы: офис (частичная удаленка до лета)

Ищем Data Engineer в команду развития и поддержки корпоративного хранилища данных.
Проект новый, поэтому ты сможешь поучаствовать в создании DataLake с нуля.

⚡ О проекте:
В команде в течение 5-ти лет развивалось и поддерживалось DWH на стеке Microsoft (MS SQL Server, SSIS, T-SQL, C#).
За это время в команде хорошо выстроили все процессы: постановка задач, ревью, автотесты (.Net + tSqlt), CI на базе Azure DevOps, мониторинг на базе Prometheus/Grafana/SCOM.
Текущий стек технологий не позволяет решить весь спектр имеющихся задач, и в данный момент мы расширяем архитектуру, добавляя новый слой - DataLake на базе Hadoop и Hive, а также переходим на Spark и Airflow для загрузки данных в DataLake.

Задачи:
- Разработка батч и стриминговых пайплайнов по загрузке данных в DataLake и DWH (Airflow, Hive, Spark)
- Совместно с командой и архитектором развивать подходы к обработке данных в DataLake
- Внедрение модели данных на основе DataVault и создание библиотеки по генерации пайплайнов на основе метаданных
- Интеграция с корпоративной шиной на базе Kafka и RabbitMQ
- Разработка автотестов на процессы загрузки данных
- Разработка мониторингов качества данных.

Мы ожидаем от Вас:
- Отличное знание SQL и опыт оптимизации запросов. Плюс, опыт работы с MS SQL Server
- Понимание принципов работы БД и построения хранилищ данных (Кимбалл, DataVault)
- Опыт работы с Hadoop стеком (Hive, Spark);
- Уверенное знание Python. Плюсом будет знание Java/Scala/C#
- Опыт работы с Airflow и ETL-инструментами
- Опыт работы с Kafka/RabbitMQ.

Мы предлагаем:
- ДМС и страхование жизни (включая детей) с первого дня работы
- Бесплатное обучение: митапы, конференции, сертификации, 11 иностранных языков
- Ежемесячный бонус на обеды
- 2 спортзала, сауна, врач и массажный кабинет прямо в офисе
- Программа релокации для кандидатов из регионов

💬 Контакты: @zovutmashei