#senior #удаленка #гибрид

Lamoda Tech
Senior Big Data Engineer (Data Platform)
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо или гибрид

☑️ Чем предстоит заниматься
-Разрабатывать и совершенствовать лучшую на рынке платформу данных электронной коммерции нового поколения
-Проектировать и разрабатывать ETL пайплайны на Airflow для Spark (Batch, Streaming), Iceberg, Trino
-Оптимизировать действующие пайплайны и джобы на Spark - мониторить нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать
-Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с data ops для развития дата-платформы
-Анализировать и внедрять инструменты инжиниринга данных (Lineage, DQ)
-Проектировать хранилища данных на основе k8s, настраивать производительность, мониторинг, планировать емкости кластера и другой инфраструктуры - думать над тем что и как грузить и в каких партициях
-Решать задачи, связанные с внедрением облачной инфраструктуры - разрабатывать новую архитектуру хранилища
-Проводить code review и принимать участие в архитектурных решениях по дата платформе в команде

☑️ Наши пожелания к кандидатам
-Kubernetes - понимание ресурсной модели, просмотр конфигураций, troubleshooting
-Опыт работы с Hadoop (HDFS, Hive Metastore)
-Опыт работы со Spark (spark SQL, streaming, понимание ньюансов работы с pyspark)
-Apache Icberg – владение процедурами, snapshots, maintenance
-Глубокое понимание Airflow (2, 3) – идемпотентность, assets, backfills
-Уверенное знание Git, CI/CD
-Python, Scala/Java – ООП, проектирование библиотек, интеграционные/юнит тесты
-Хорошее понимание СУБД, SQL
-Будет плюсом:
-Опыт работы с Docker (уверенное владение для поднятия локального окружения проекта)
-Опыт работы с Kafka – понимание архитектуры и слабых мест
-Опыт с облачными технологиями: преимущественно Yandex Cloud
-Опыт с Clickhouse
-AI-native подход к разработке: активное использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG

Контакты: tech.recruitment@lamoda.ru (mailto:tech.recruitment@lamoda.ru) / Telegram t.me/latech

🔥 / /

@SysAdmins_jobs