🏂4 причины строить ML-конвейеры, а не просто модели с Apache Spark MLLib
Конвейеры - это простой способ упорядочить код предварительной обработки данных и ML-моделирования. Непрерывная цепочка связанных работ дает следующие преимущества в промышленном Machine Learning:
• чистый код за счет автоматизации процедур подготовки данных (выборка, очистка, генерация фичей и пр.)
• сокращение ошибок благодаря отработанной последовательности шагов, не получится пропустить или неправильно выполнить какой-то этап
• простота развертывания в production – обычно преобразовать ML-модель от прототипа к масштабируемому и надежному решению для промышленной эксплуатации достаточно сложно, однако конвейеры помогут и здесь, облегчая тестирование и прочие MLOps-процедуры
• дополнительная проверка ML-модели: можно применить перекрестную проверку (кросс-валидацию) и другие методы к этапам конвейера, пробуя различные параметры. Это ускоряет оптимизацию алгоритма и выбор наилучших конфигурационных настроек.
В конвейер могут входить следующие операции:
• устранение пропусков
• преобразование категориальных значений в номинальные и числовые
• нормализация диапазона значений для каждого измерения
• непосредственно ML-моделирование, где обучается алгоритм машинного обучения.
Таким образом, можно объединить весь поток обработки данных в один конвейер, и использовать его в дальнейшем.
Apache Spark 3.0 воплощает идею конвейеров машинного обучения, предоставляя единый набор высокоуровневых API-интерфейсов на основе DataFrame, которые помогают пользователям создавать и настраивать ML-pipeline’ы. Инструмент машинного обучения Apache Spark, библиотека MLlib стандартизирует API-интерфейсы для ML-алгоритмов, чтобы упростить объединение нескольких алгоритмов в один конвейер или рабочий процесс. Это реализовано с помощью специальных методов, упакованных в преобразователи (Transformer) и оценщики (Estimator). Как они работают на практике с примерами кода, смотрите здесь https://medium.com/towards-artificial-intelligence/big-data-pipelines-with-sparkml-8207c86fc995