Какую профессию выбрать в сфере Data Science?
Какие вообще профессии связанные с машинным обучением существуют в природе? Data scientists, data engineers, data analysts, ML-engineers, ML-ops engineers - кто все эти люди, чем они занимаются? Если вы только в начале своего пути развития в сфере Machine и Deep learning, то необходимо четко понимать кто есть кто, чтобы обучаться целенаправленно и не тратить силы на то, что вам не надо.
По сути все из перечисленных являются «дата саентистами», то есть учеными по данным. Основная задача работника сферы Data science - это работа с данными: собрать, обработать, проанализировать, преобразовать в своих целях. Ну логично раз есть слово “data” в названии. Но вот отношение к ML&DL у этих профессий совершенно разное. Давайте остановимся поподробнее на каждой из них.
DATA SCIENTIST ⭐️
Хоть я и сказала, что формально все присутствующие - это дата саентисты, обычно имеется в виду человек, который обучает модели машинного обучения. Основной упор в его работе на то, что он выбирает архитектуру модели, какие фичи можно собрать из имеющихся данных, сравнивает подходы к обучению, проверяет разные гипотезы о данных и все в таком духе. Откуда собраны данные, как они хранятся волнует дата саентиста в меньшей степени. Тоже самое касается вывода модели в ПРОМ - обычно это не в полномочиях дата саентиста. Именно для этой профессии необходима сильная математическая база и знание алгоритмов машинного и глубокого обучения, потому что бОльшая часть работы исследовательская.
Дата саентисты чаще всего используют Python (Pandas, Sklearn, PyTorch, Tensorflow, numpy, math, Polars), SQL, Spark
DATA ENGINEER ⭐️
К разработке самих моделей не имеет отношения, зато занимается данными, на которых потом дата саентист обучается. Дата инженер — это специалист, который проектирует, строит и поддерживает инфраструктуру для сбора, хранения, обработки и передачи данных. Его главная цель — сделать данные доступными, надёжными и пригодными для анализа.
Для дата инженера очень важны навыки SQL, Python, Spark и иногда Scala (если вы модный).
DATA ANALYST ⭐️
Ближе всех подобрался к бизнес-вопросам. Дата аналитик превращает сырые данные в понятные выводы и рекомендации для бизнеса. Его главная цель — ответить на вопросы бизнеса с помощью данных, чтобы помочь принять взвешенное решение. И также наоборот: исходя из требований бизнеса аналитик проверяет гипотезы, находит закономерности, составляет требования к витрине данных, которые потом реализовывает дата инженер.
Основные инструменты аналитика это SQL, Excel, Python (pandas), Tableau, Power BI
ML-OPS ENGINEER (Machine learning operations) ⭐️
Модель машинного обучения мало просто обучить, нужно наладить ее дальнейшее использование, иначе зачем это все затевалось? ML-ops engineers как раз этим и занимаются. Главная цель MLOps — сделать развертывание, поддержку и мониторинг ML-моделей в производстве надежным, эффективным и масштабируемым. Грубо говоря, они берут jupyter-notebooks или проект в VScode дата саентистов и «вписывают» его в текущую ML-систему. Также MLops настраивают мониторинг модели, автоматизируют сбор метрик и выводят модель в эксплуатацию.
Не во всех компаниях это прям отдельная вакансия, иногда дата саентисты могут самостоятельно заниматься выводом моделей в пром.
Основные инструменты ML-ops: Docker, Apache Airflow, Grafana, Prometheus, Kubernetes
ML-ENGINEER ⭐️
Отдельный спор ведем с коллегами кто такие ML-инженеры. Я думаю так: ML-инженер - это дата саентист, но с упором в system design. Помимо обучения моделей, проверки гипотез, ml-инженер также думает о том как ускорить процесс с помощью GPU, как потом эффективнее внедрить модель в готовый сервис или же придумать свою собственную архитектуру сервиса. В задачи ml-инженера входит полный цикл разработки модели: от сбора бизнес-требований до вывода в ПРОМ и дальнейшего мониторинга.
Соответственно, ml-инженер может использовать все инструменты, которые я перечислила ранее.
Прикрепила полную схему цикла разработки моделей МО.

Ставьте реакцию и делитесь постом, также голосуйте за канал
#ml_system_design