Data Engineer Работа Вакансии

Data Engineer
#удаленка
Компания: Авиасейлс

🔹Что нужно делать
-активно участвовать в командном чате: отслеживать запросы, оперативно реагировать на вопросы и задачи в рабочее время;
-мониторить системы и решать возникающие инциденты вместе с дежурными дата инженерами;
-оптимизировать текущие процессы обработки данных;
-модернизировать текущую дата платформу вместе с Core командой дата инженеров.

🔹Чего ждём от тебя
-опыт работы инженером данных от 1 года;
-знание языков программирования: Python/SQL (обязательно), опыт работы с другими языками будет плюсом.
-понимание принципов ETL/ELT процессов и опыт работы с инструментами
-понимание как работают распределенные вычисления
-опыт работы в нашем стеке Apache Spark, Apache Airflow, DBT, Trino будет плюсом;
-самостоятельность и ответственность, умение коммуницировать с разными командами и людьми
желание развиваться и выстраивать процессы вокруг себя.

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data Engineer в команду Spark
#удаленка
Компания: Авито

🔹Какие задачи вас ждут:
-разрабатывать новые и поддерживать существующие продукты в составе кросс-функциональной команды;
-развивать существующую Big Data-платформу с учётом растущей нагрузки от новых задач и данных: 90% задач связаны со Spark;
-создавать новые сервисы на Python и улучшать существующие;
-внедрять инженерные практики и делиться с командой своим опытом;
-предлагать новые подходы и быстро проверять их в продакшене на реальных данных.

🔹Мы ждем, что вы:
-пишете на Python или Java/Scala и готовы перейти на Python;
-глубоко понимаете экосистему Hadoop/Spark/Hive и связанные продукты;
-работали с данными и решали аналитические задачи;
-умеете администрировать Linux-системы на базовом уровне;
-готовы искать нестандартные решения.

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data Engineer/ MLOpsE
#офис #гибрид #middle
Москва
Компания: Bell Integrator

☑️ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА:
-Понимание основ облачных технологий и технологий виртуализации и контейнеризации;
-Опыт с экосистемой Hadoop (HDFS, Hive, Spark и п-р.);
-Опыт промышленной разработки Python;
-Опыт работы с ETL (Airflow и пр.);
-Опыт работы с CI/CD решениями на базе Jenkins и Bitbucket / Git.

БУДЕТ ПЛЮСОМ:
Опыт работы с платформами оркестрации контейнеров K8s, OpenShift;
Опыт внедрения DS-моделей в промышленный контур;
Опыт работы с Kafka;
Опыт работы с популярными РСУБД (Greenplum, Teradata, Oracle, PostgreSQL);
Понимание принципов построения хранилищ данных DWH;
Знания в RL и Графовых нейросетях;
Отличные знания в области классического ML и DL.

☑️ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:
-Разработка, поддержка и оптимизация ETL-процессов команды на платформах банка;
-Внедрение разработанных DS-моделей в промышленную среду (MLOps);
-Поддержка промышленной эксплуатации разработанных решений.

☑️МЫ ПРЕДЛАГАЕМ:
-Возможность участия в интересных проектах.
-Возможность профессионального и карьерного роста в компании.
-Опыт работы в команде профессионалов.
-Специальные тарифы для сотрудников в спортивные клубы и языковые курсы и пр.
-Офисный\гибридный формат работы в Москве.
Контакты: hr@bellintegrator.ru

IT Jobs в Telegram | в VK | в Max

Data Engineer в команду CDP
#удаленка
Компания: 2Гис

🔹Тебе предстоит
-Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга.
-Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka‑топиков.
-Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей.
-Решать сложные инженерные задачи: расчеты метрик, построение витрин.
-Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС.
-Влиять на архитектурные решения и качество кода.
-Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.

🔹Ждем от тебя
-Опыт работы с highload-системами.
-Опыт проектирования архитектуры данных или платформенного кода.
-Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
Хорошо понимает, как работает Spark и умеет его готовить. Хорошо владеешь одним из языков программирования (например, Python или Scala).
-Самостоятельность и проактивность — ты не ждешь постановок, а предлагаешь решения.
-Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.

Откликнуться

IT Jobs в Telegram | в VK | в Max

Ведущий инженер данных в VK Видео, Москва
#удаленка #senior
Компания:VK

🔹Задачи
-Разрабатывать и поддерживать процессы обработки и доставки данных для аналитических и ML команд
-Собирать витрины, оптимизировать
-Писать адхоки и выгрузки, раздебаги
-Собирать требования

🔹Требования
-Понимание работы параллельных вычислений на кластере
-Опыт с Airflow, Spark, Hadoop, ClickHouse, YT (опционально)
-Знание Python: алгосы базовые (для понимания оптимального кода), классы и прочий сложный код (для чтения исходников и создания велосипедов типа операторов/сервисов)
-Знание Git и работа с кодом в команде (ревью)

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Тимлид команды data‑инженеров
#удаленка #офис #lead
Компания: Т-Банк

🔹Обязанности
-Взаимодействовать с бизнес‑партнерами, заказчиками и владельцами продукта, выравнивать цели и планы команды
-Руководить командой: нанимать, адаптировать, развивать сотрудников и проводить регулярные 1‑1
-Проектировать архитектуру ИТ‑систем и участвовать в выборе технологий
-Выстраивать, внедрять и развивать процессы разработки с фокусом на доставку ценности
-Контролировать метрики команды и продукта, принимать тактические и стратегические решения на основе данных
-Обеспечивать соблюдение нефункциональных требований и технических стандартов
-Проводить code review и техническую экспертизу решений
-Настраивать и развивать CI/CD и процессы автоматизации
-Оптимизировать процессы разработки, устранять узкие места и решать сложные технические проблемы
-Формировать и развивать инженерную культуру, включая практики DevOps и SRE

🔹Требования
-Имеете опыт проектирования и построения DWH и процессов доставки данных от 3 лет
-У вас есть опыт управления командой от 7 человек от 2 лет
-Имеете опыт проектирования ИТ‑систем и микросервисной архитектуры
-У вас есть опыт разработки на Python, Java или Go
-Имеете опыт выстраивания процессов разработки по Agile‑подходам (Scrum, Kanban) и управления командой: делегирование, целеполагание, 1‑1 встречи
-У вас есть опыт контроля нефункциональных требований: качество, надежность, доступность, безопасность, производительность
-Работали с базами данных и хранилищами: ClickHouse, GreenPlum, Oracle, Hadoop, S3
-Понимаете современные подходы к разработке и проектированию: DDD, DevOps, SRE
-Будет преимуществом опыт Data‑разработки и применения SRE‑практик: SLA, observability, postmortems, автоматизация

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data Engineer
#удаленка #офис
Компания: Островок!

🔹Ключевые задачи:
-Создание и поддержка витрин для нужд data science;
-Настройка и поддержка ETL;
-Повышение и поддержка качества данных.

🔹Требования:
-Опыт работы от 2 лет с данными, нужными для ML-решений — особенности хранения, архитектура, эффективная историчность;
-Опыт работы с DS-командой/задачами, опыт сбора ТЗ у DS и его формализации;
-Опыт работы с Spark и MPP базами данных;
-Опыт работы с dbt (большой плюс), Airflow, HDFS, Hive;
-Опыт с Python, SQL, Git, Docker;
-Настройка систем мониторинга процессов ETL;
-Английский язык на уровне чтения документации.

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data Engineer
#удаленка
Компания: Авиасейлс

🔹Что нужно делать
-активно участвовать в командном чате: отслеживать запросы, оперативно реагировать на вопросы и задачи в рабочее время;
-мониторить системы и решать возникающие инциденты вместе с дежурными дата инженерами;
-оптимизировать текущие процессы обработки данных;
-модернизировать текущую дата платформу вместе с Core командой дата инженеров.

🔹Чего ждём от тебя
-опыт работы инженером данных от 1 года;
-знание языков программирования: Python/SQL (обязательно), опыт работы с другими языками будет плюсом.
-понимание принципов ETL/ELT процессов и опыт работы с инструментами
-понимание как работают распределенные вычисления
-опыт работы в нашем стеке Apache Spark, Apache Airflow, DBT, Trino будет плюсом;
-самостоятельность и ответственность, умение коммуницировать с разными командами и людьми
желание развиваться и выстраивать процессы вокруг себя.

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data Engineer ClickHouse
#офис
Москва
Компания: Сбер

🔹Обязанности
-поддержка, развитие и оптимизация кластеров ClickHouse
-проектирование и реализация ETL-процессов с использованием Kafka и Bash
-мониторинг, анализ и повышение производительности баз данных
-разработка и поддержка скриптов автоматизации на Bash
-участие в проектировании архитектуры хранения и обработки данных.

🔹Требования
-ClickHouse: опыт проектирования таблиц, понимание движков таблиц (MergeTree, ReplicatedMergeTree, Kafka), оптимизация хранения данных, партиционирование и шардирование
-Kafka: настройка, разработка пайплайнов обработки данных
уверенное владение Bash: написание и поддержка скриптов для автоматизации рутинных задач
-Linux: опыт работы в консоли
навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом

Откликнуться

IT Jobs в Telegram | в VK | в Max

Инженер данных
#гибрид
Москва
Компания: Альфа-Банк

🔹Чем предстоит заниматься
-Реализация высоконагруженных конвейеров обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем Банка.
-Реализация комплексных задач по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения.
-Разработка и поддержание в актуальном состоянии документации по разработанному функционалу.
-Своевременное отражение статуса выполнения задач в Jira.
-Проверка качества кода (код-ревью), написанного инженерами и младшими инженерами данных.

🔹Наши пожелания к кандидатам
-Python - уверенное знание структур данных и алгоритмов, эффективное применение принципов ООП и ФП (Функциональное программирование), опыт написания модульных и интеграционных тестов, знание и опыт применения библиотек обработки и анализа данных - numpy, pandas.
-Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных и слабо структурированных данных (текст, xml, json) из внешних источников.
-Способность разобраться с API поставщиков данных, используя доступную документацию.
-SQL - умение создавать сложные запросы с использованием аналитических оконных функций и использовать инструменты профилирования для оптимизации их производительности, опыт работы с БД Oracle, Postgres, Greenplum.
-Уверенное знание и опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных.
-Airflow- Опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark, уверенное знание настроек Spark и их влияния на производительность приложений Spark.

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Ведущий инженер данных в VK Видео, Москва
#удаленка #senior
Компания:VK

🔹Задачи
-Разрабатывать и поддерживать процессы обработки и доставки данных для аналитических и ML команд
-Собирать витрины, оптимизировать
-Писать адхоки и выгрузки, раздебаги
-Собирать требования

🔹Требования
-Понимание работы параллельных вычислений на кластере
-Опыт с Airflow, Spark, Hadoop, ClickHouse, YT (опционально)
-Знание Python: алгосы базовые (для понимания оптимального кода), классы и прочий сложный код (для чтения исходников и создания велосипедов типа операторов/сервисов)
-Знание Git и работа с кодом в команде (ревью)

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data Engineer (Python + Spark)
#офис
Москва
Компания: X5 Tech

☑️ Задача
Мы строим end-to-end пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети). От качества этих пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике
• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
• Настраивать хранение и доступность данных в DWH
• Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
• Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
• Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной

☑️Наш стек
• PySpark{2,3} / Spark SQL
• Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum
• Airflow
• Python3
• Docker, YARN / k8s
• pytest

Откликнуться

Python Job в Telegram | в VK | в Max

Data engineer
#удаленка #middle #100k
Компания: AGIMA
ЗП: до 178 000 ₽

🔹Что нам важно:
-Уверенное знание MPP-баз данных — Greenplum (или аналогов: Redshift, Vertica).
-Умение писать сложные SQL-запросы, понимание партиционирования, distribution keys, работы с большими объёмами данных. Знание PostgreSQL: индексы, транзакции, оконные функции, работа pg-драйверами.
-Уверенное владение Python для задач обработки данных: pandas, psycopg2 / SQLAlchemy для работы с БД, boto3 для Object Storage, requests для работы с REST API. Умение писать читаемый, поддерживаемый код.
-Опыт работы с Apache AirFlow: написание DAG-ов на Python, управление зависимостями, настройка расписаний, мониторинг и отладка.
-Понимание принципов ETL. Опыт работы с Informatica (или аналогами: Talend, dbt, SSIS) будет плюсом. Умение реализовывать загрузку CSV и структурированных данных в БД.
-Опыт работы с S3-совместимыми хранилищами (Yandex Object Storage, AWS S3 и пр.) — загрузка, хранение промежуточных и выходных данных.

🔹Что предлагаем:
-гибкий график: 5/2 с 10:00 до 19:00, но при необходимости часы работы подстроим под вас;
-теплая атмосфера: клубы по интересам, летний выезд на природу AGIMA Camp и корпоративные вечеринки, куда можно приглашать и свою семью;
-сильная команда: открытость к решению любых вопросов и поддержка в создании вашего личного бренда для профессионального роста;
-особые бонусы: бесплатные билеты на культовый забег для IT-специалистов RUNIT;
-профессиональное развитие: участие в профильных конференциях — оплатим дорогу и участие, если выступаете как спикер;
-обучение: доступ к разработанным нами курсам по UX-дизайну, проджект-менеджменту, тимлидингу и другим направлениям.

Контакты: v.klimova@agima.ru

IT Jobs в Telegram | в VK | в Max

Junior Python Data Engineer

Разработка и сопровождение ETL/ELT-процессов с акцентом на обработку данных и поддержку дата-пайплайнов. Фокус на выполнении технических задач под наставничеством опытного специалиста без прямого взаимодействия с заказчиком.
Ищем специалиста с кверенным знанием Python/Pyspark. С акцентом на ООП.

Локация: Удаленно (Беларусь)
ЗП: от 600 до 1100 $
Занятость: Полная

Обязанности
- Разработка и сопровождение ETL/ELT-процессов
- Написание SQL-запросов и Python-скриптов для обработки данных
- Работа с реляционными базами данных
- Поддержка и оптимизация дата-пайплайнов
- Интеграция данных из различных источников
- Подготовка данных для BI и аналитики
- Работа с Git и участие в командной разработке

Требования
- Уверенное знание Python и SQL
- Базовый опыт работы с PySpark
- Понимание принципов ETL/ELT и построения DWH
- Опыт работы с Git, Linux/Bash
- Базовое понимание CI/CD
- Английский язык — Intermediate и выше (обязательно).
• Важно понимать как составлять грамотные и вежливые сообщения для коммуникации со стейкхолдерами проекта.

Будет плюсом
- Azure Databricks
- SparkSQL / PySpark
- Docker
- Azure / AWS

Формат работы: Junior Data Engineer под руководством ментора.
В обязанности входит выполнение технических задач под наставничеством опытного специалиста. Работа ведется от имени другого инженера. Прямое взаимодействие с клиентом, участие в созвонах и прохождение интервью с заказчиком не требуются.

контакт в Телеграме: @Valerijadus

Руководитель разработки DWH / Team Lead Data Engineering

Обязанности:
Стратегическое развитие архитектуры данных: проектирование и развитие хранилищ (DWH, Data Lake, Data Mesh), выбор технологического стека для ETL/ELT-процессов.
Руководство командой инженеров данных (найм, онбординг, наставничество, проведение 1-to-1, развитие сотрудников).
Участие в разработке и код-ревью ETL/ELT-процессов, обеспечение качества и доступности данных.
Планирование и приоритизация задач, контроль сроков и качества выполнения.
Внедрение best practices по CI/CD, тестированию, документированию и мониторингу потоков данных.
Организация взаимодействия с бизнес-командами и аналитиками для бесперебойного доступа к данным.
Решение сложных технических инцидентов, обеспечение SLA пайплайнов.
Организация безопасности данных, отказоустойчивости и систем оповещения.

Требования:
Опыт работы от 5 лет в роли Team Lead / Tech Lead в области Data Engineering.
Опыт построения и эксплуатации хранилищ данных (DWH / Data Lake).
Глубокое знание Python и SQL (разные диалекты), понимание ООП и принципов чистого кода.
Опыт работы с реляционными (PostgreSQL, Oracle, SQL Server) и колоночными (ClickHouse) СУБД.
Понимание методологий моделирования данных (Kimball, Inmon, Data Vault).
Экспертный уровень владения NiFi, Kafka, Airflow, DBT.
Опыт работы с Docker и Kubernetes.

Будет плюсом: опыт построения команды Data Engineering с нуля, понимание MLOps и поддержка ML-пайплайнов.

Условия:
Конкурентный уровень дохода (обсуждаемо, зависит от опыта).
Официальное трудоустройство, ДМС, оплата профессионального обучения и конференций.
Работа в амбициозной команде профессионалов, влияние на технологическую стратегию компании.
Современный офис в центре Москвы.

Отклики: тг @Sidorenkova_Kseniya

Data Engineer/ MLOpsE
#офис #гибрид #middle
Москва
Компания: Bell Integrator

☑️ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА:
-Понимание основ облачных технологий и технологий виртуализации и контейнеризации;
-Опыт с экосистемой Hadoop (HDFS, Hive, Spark и п-р.);
-Опыт промышленной разработки Python;
-Опыт работы с ETL (Airflow и пр.);
-Опыт работы с CI/CD решениями на базе Jenkins и Bitbucket / Git.

БУДЕТ ПЛЮСОМ:
Опыт работы с платформами оркестрации контейнеров K8s, OpenShift;
Опыт внедрения DS-моделей в промышленный контур;
Опыт работы с Kafka;
Опыт работы с популярными РСУБД (Greenplum, Teradata, Oracle, PostgreSQL);
Понимание принципов построения хранилищ данных DWH;
Знания в RL и Графовых нейросетях;
Отличные знания в области классического ML и DL.

☑️ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:
-Разработка, поддержка и оптимизация ETL-процессов команды на платформах банка;
-Внедрение разработанных DS-моделей в промышленную среду (MLOps);
-Поддержка промышленной эксплуатации разработанных решений.

☑️МЫ ПРЕДЛАГАЕМ:
-Возможность участия в интересных проектах.
-Возможность профессионального и карьерного роста в компании.
-Опыт работы в команде профессионалов.
-Специальные тарифы для сотрудников в спортивные клубы и языковые курсы и пр.
-Офисный\гибридный формат работы в Москве.
Контакты: hr@bellintegrator.ru

IT Jobs в Telegram | в VK | в Max

Инженер данных
#гибрид
Москва
Компания: Альфа-Банк

🔹Чем предстоит заниматься
-Реализация высоконагруженных конвейеров обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем Банка.
-Реализация комплексных задач по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения.
-Разработка и поддержание в актуальном состоянии документации по разработанному функционалу.
-Своевременное отражение статуса выполнения задач в Jira.
-Проверка качества кода (код-ревью), написанного инженерами и младшими инженерами данных.

🔹Наши пожелания к кандидатам
-Python - уверенное знание структур данных и алгоритмов, эффективное применение принципов ООП и ФП (Функциональное программирование), опыт написания модульных и интеграционных тестов, знание и опыт применения библиотек обработки и анализа данных - numpy, pandas.
-Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных и слабо структурированных данных (текст, xml, json) из внешних источников.
-Способность разобраться с API поставщиков данных, используя доступную документацию.
-SQL - умение создавать сложные запросы с использованием аналитических оконных функций и использовать инструменты профилирования для оптимизации их производительности, опыт работы с БД Oracle, Postgres, Greenplum.
-Уверенное знание и опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных.
-Airflow- Опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark, уверенное знание настроек Spark и их влияния на производительность приложений Spark.

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Дата-инженер в Такси
#удаленка #гибрид
Компания: Яндекс

🔹Какие задачи вас ждут
-Проектировать, реализовывать и оптимизировать сложные ETL-процессы
У нас широкий инструментарий и огромные объёмы данных. Мы активно развиваем своё хранилище и реализуем новые сложные пайплайны обработки данных. Наши инженеры работают с данными на всех этапах, начиная от появления в источниках и заканчивая финальными витринами и отчётами.
-Обеспечивать стабильность и качество того, что уже есть
Нашими данными пользуется очень много людей, и важно не сломать существующую функциональность. Можно и нужно заниматься техдолгом: мы всячески поддерживаем любые улучшения, автоматизации, правки и отключение ненужного или устаревшего.
-Участвовать в проработке и пилотировании нового
Flink, Spark, инкрементальное построение, Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами и многое другое — нужно исследовать, сравнивать, пилотировать, думать, превращать в инструменты для всех. Что-то из этого у нас есть, что-то нужно переосмыслить, что-то внедрить — во всём можно участвовать.

🔹Мы ждём, что вы
-Уверенно программируете на Python
-Разбираетесь в классических алгоритмах и структурах данных
-Хорошо знаете SQL и понимаете устройство современных баз данных и фреймворков обработки
-Можете объяснить, для чего нужны CI/CD, выделить преимущества использования Git и ревью кода

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Стажер Data Engineer в Аналитику для сервиса Заявки Телеком данных [Big Data, МТС Веб Сервисы]
#гибрид #intern
Москва
Компания: МТС

🔹Чем предстоит заниматься
-Выгружать и обрабатывать гео- и телеком-данные (трафик, локации нахождения абонентов);
-Разрабатывать простые ETL-процессы;
-Выполнять ad-hoc-задачи на PySpark;
-Создавать сегменты пользователей;
-Готовить отчётность и обрабатывать табличные данные на PySpark

🔹Что мы ожидаем
-Студенты 3 - 6 курсов бакалавриата, специалитета или магистратуры;
-Уверенное базовое знание Python;
-Уверенное знание SQL;
-Будет плюсом: знание распределенных вычислений, PySpark

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

🚀 Вакансия: Data Engineer (удаленно/гибрид)
Компания: ООО "ОДСС" https://odsscompany.ru (аккредитованная IT-компания)
Локация Москва
Зрплата от 150 до 170 т.р.
Оформление по ТК РФ

Мы ищем в свою команду инициативного Data Engineer для разработки и поддержания инфраструктуры данных для большого проекта озера данных, включающего себя сложные сценарии приема и обработки данных из разных источников.

Что предстоит:
• разработка и поддержание парсеров
• автоматизация обработки и преобразования данных
• отладка и мониторинг конвейеров данных

Технологический стек: Python, PostgreSQL, Dagster, Selenium

Что мы ждем от тебя:
- знание основных библиотек Python для работы с данными
- опыт обработки и скрейпинга/парсинга сложных и слабоструктурированных документов в форматах pdf, doc, docx, xls, xlsx
- опыт работы автоматизации конвейеров данных и знание соответствующих программных инструментов
- представление об управлении качеством данных
- представление о возможностях отладки мониторинга
- понимание специфики форматов данных (JSON lines, Parquet, XML, CSV и тд.)
- понимание методов получения и поставки данных (как, например, S3, REST API, SOAP, RPC)
- знание английского языка на уровне, достаточном для чтения технической документации
- знание Git
- готовность осваивать новые технологии и разрабатывать индивидуальные технические решения под поставленные задачи.

Плюсами будут:
- опыт работы с данными из открытых источников и понимание их специфики
- опыт долгосрочного поддержания работы парсеров
- опыт работы с библиотеками Python для computer vision

Преимущества проекта
✅ Проект только стартовал — мало легаси, много свободы для экспериментов
✅ Можно влиять на выбор технологий и архитектурных решений

Для быстрой связи @LvovaOV