Вакансия: Data Engineer

#Вакансия #DataEngineer #работа #remote #Senior #fulltime #Python

Привет! Меня зовут Анастасия. Я представляю группу компаний Top Selection.
Мы занимаемся продуктовой разработкой и поиском it персонала для рынка России.

Допустимые грейды: Senior
Оформление: ИП
Локация - Мир
250-265k
Работа полностью удаленная, занятость - проектная (3 мес, возможна пролонгация)

Проект с крупным ретейлом по прогнозированию спроса

Требования:
- Уверенные знания Python 3.7 + Spark 2.4 / Spark 3.0
- Уверенные знания SQL
- Опыт проектирования схем данных в БД, понимание концепций OLAP и OLTP


Задачи:
- Помощь коллегам DS в оптимизации их работающих пайплайнов. Проактивность с предложениями оптимизации;
- Взаимодействие с коллегами DevOps по настройке окружений, деплоя кода, работы с инфраструктурой компании;
- Перенос кода расчетов из PostgreSQL на Spark и его последующие оптимизации;
Настройка и поддержка стэндов с которых запускаются задания;
- Общение с коллегами DQ, выяснение деталей наполнения данных, участие в составлении БТ к данным;
- Написание ETL пайплайнов;
Решение неожиданных проблем с данными, задержками их доставки;
- Настройка мониторинга разнообразных процессов

@Nastya_HR_Pro