Вакансия: Senior Machine Learning Engineer - LLM/RL

О компании
Компания является end-to-end фармацевтической/биотехнологической, работающей на основе искусственного интеллекта. Ключевая миссия — ускорять открытие и разработку новых лекарств, используя быстро развивающуюся, собственную платформу и модели в областях биологии, химии и клинических исследований. В настоящий момент я в поиске Senior ML Engineer'а (LLM/RL) для создания и масштабирования GenAI-моделей в рамках задач области молекулярного дизайна.

Формат/локация
Офис в Абу-Даби (обязательная релокация после испытательного периода).

Чем предстоит заниматься:

- разрабатывать и масштабировать процессы тонкой настройки (fine-tuning) больших языковых моделей (LLM) с помощью обучения с подкреплением, включая такие методы, как RLVR/RLHF;

- создавать и оптимизировать высокопроизводительные конвейеры обучения трансформеров в средах с несколькими GPU и узлами (multi-GPU, multi-node);

- адаптировать модели для решения специфических задач в области дизайна молекул и разработки лекарств, таких как генерация молекул и предсказание их свойств;

- руководить планированием экспериментов, отслеживать ключевые метрики, а также представлять результаты и выводы в виде презентаций и/или публикаций.

Образование:

Магистр наук (M.S.), кандидат наук (Ph.D.) или эквивалентный опыт в области компьютерных наук, машинного обучения, вычислительной химии или другой смежной количественной дисциплины.

Обязательные навыки и опыт:

- ML: Не менее пяти лет опыта в инженерии машинного обучения;

- трансформеры: глубокие знания в области обучения и развертывания больших моделей-трансформеров с использованием PyTorch.

- алгоритмы обучения с подкреплением (RL): Практический опыт работы с такими методами, как PPO/DPO/RLOO/GRPO, и другими related policy gradient and preference-based optimization методами оптимизации на основе предпочтений и градиента политики.

- масштабируемые конвейеры обучения: владение техниками параллелизма данных, моделей, контекста и конвейера (data, model, context, and pipeline parallelism).

- интеграция reinforcement функции: практический опыт разработки разнообразных функций вознаграждения (reward functions) и моделей вознаграждения (reward models);

- инструменты/архитектура/технологии: отличное знание Python, а также опыт использования Hugging Face Transformers, TRL/RLlib/verl, DeepSpeed, vLLM, Docker, Sagemaker и процессов CI/CD;

Будет плюсом:

- уровень Senior: не менее двух лет на позиции старшего специалиста;
- владение математическими пакетами: MATLAB, MATHCAD, MATEMATICA;
- разработка лекарств и молекулярный дизайн: Бэкграунд в области химии, хемоинформатики, структурной биологии или опыт работы с генеративными моделями для молекул;

- генеративные модели: знание диффузионных моделей, flow-based моделей и других генеративных моделей;

- научное лидерство: наличие публикаций в области машинного обучения.

Если есть попадание/вы знаете того, кто может иметь необходимый опыт и сферу интересов - пожалуйста, присылайте CV и контакты мне в тг @katyapunk 🙂