Как получить работающий конвейер после ухода вендора? 🫥

Чем больше компаний осознают пользу от машинного обучения, тем чаще они задаются вопросом: «Как использовать умные технологии эффективнее?»

Эффективнее — это, во-первых, с доступным минимумом издержек, а во-вторых, с понятной пользой для бизнеса. Пользу обеспечивает скорость, с которой ML-модели «приземляются» на текущие процессы — её может дать автоматизация

Автоматизировать вывод моделей в продакшен — это, по сути, запустить непрерывный конвейер. Такой конвейер в Альфе начали строить 1,5 года назад. Из них полгода выбирали оптимальное архитектурное решение, инструментарий, договаривались о минимально необходимом функционале

Разработкой сначала занимался вендор:
➕Это сэкономило время и ресурсы внутренних команд
➖Внешняя разработка обнаружила свои ограничения

С чем столкнулась наша команда:
🟣 Изначально не была настроена промышленная среда: быстро «починили», но удивились самому факту
🟣 Были по-разному реализованы стенды функционального и нагрузочного тестирования: выравнивание заняло больше месяца, тоже удивились
🟣 Не было доделано логирование: сначала его дорабатывал подрядчик, потом доделывали сами
🟣 Использовался устаревший софт: сами обновляли до актуальных версий и переустанавливали
🟣 Не было настроено бэкапирование: доделывали сами

Начав плотнее работать с системой, поняли, что нужны и другие доработки:
— Провели рефакторинг плэйбуков: переработали код системы, чтобы ускорить вывод моделей и повысить масштабируемость
— Разработали новый технический процесс: запустили новый пайплайн поставки моделей на боевую среду
— Доработали изначально непродуманный код
— Улучшили логику работы с Hadoop

Дальше решили автоматизироваться еще больше: разрабатываем автоматические тесты для моделей ML

🗣️ Наш вывод: за конвейером нужно бдительно следить, а, привлекая вендора, рассчитывать силы на то, чтобы быстро вносить доработки самим

Если было интересно, ставьте 🔥 Будем чаще делиться подобными кейсами!

#aaa_MLOps #aaa_hardposting