Разработчик на Python в майнинг данных
#гибрид
Компания: Яндекс
☑️Какие задачи вас ждут
-Развитие парсинг-платформы
Вы будете оптимизировать архитектуру для одновременной работы сотен парсеров, реализовывать изолированную среду выполнения парсеров и повышать эффективность взаимодействия с PostgreSQL.
-Интеграция LLM и NLP
Понадобится создавать пайплайн автоматического перевода контента и разметки данных с помощью языковых моделей, а также адаптировать и настраивать модели (YandexGPT и др.) под бизнес-задачи.
-Масштабирование системы
Вам предстоит адаптировать платформу для новых стран и языков, организовывать обработку данных через YTsaurus MapReduce и внутренний аналог AirFlow.
-Оптимизация алгоритмов
Ещё вы станете разрабатывать методы сравнения и нормализации атрибутов организаций и ускорять критичные компоненты системы на C++.

☑️Мы ждем, что вы
-Работали с C++ и Python (уровень middle+)
-Глубоко понимаете алгоритмы, структуры данных и SQL
-Умеете писать чистый, тестируемый код с документацией
Контакты: https://yandex.ru/jobs/vacancies/razrabotchik-na-python-v-mayning-dannih-42085

🔥 Подписаться на наши каналы / @best_itjob / @it_rab