Data Engineer, Москва
#удаленка #офис #гибрид #middle
Компания: VK
🔹Задачи
-Участие в роли BigData Engineer в проекте построения системы обработки и хранения разнородной информации из различных бизнес-юнитов компании на базе Hadoop (BigData DWH);
-исследование большого объёма необработанных данных, накопленных в компании;
-построение и оптимизация нетривиальных ETL-процессов обработки больших данных, -участие в построении процессов потребления данных на всех этапах, их трансформации от появления информации в конкретном бизнес-юните до монетизации полученных знаний;
-взаимодействие с командой Data Scientist и совместная реализация стабильного расчёта математических моделей;
-поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.

🔹Требования
-Не менее года релевантного опыта работы;
-опыт работы с большими объёмами данных, понимание стека технологий Hadoop, -глубокое знание Spark или Hive (плюсом будет знание Java, Scala в контексте обработки больших данных);
-опыт организации ETL-процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
-знание классических алгоритмов и структур данных (плюсом будет опыт разработки на Python);
-знания в области теории обработки и хранения информации;
-ссылки на публичные репозитории (статьи с примерами работы приветствуются).
Контакты: https://team.vk.company/vacancy/37650/

https://t.me/devs_it