Ваш МЛ-подрядчик с большим удовольствием покажет вам аккуратный тестовый датасет, на котором вы дружно «летите в космос». Но на приемке у вас обязательно должна быть простая табличка: «до / после / за счёт чего».
И к этой таблице должен идти список вопросов, который поможет избежать наших ошибок — сохраняйте, чтобы не потерять.
🩷Где модель ошибается?
Какие ошибки типовые, какие редкие — и как мы их ограничиваем.
🩷Что происходит в пограничных ситуациях?
Когда данных мало, всё противоречиво, появился неизвестный товар/клиент/сценарий. У модели должен быть понятный fallback: отказаться от решения, отправить на ручную проверку и т.д.
🩷Что будет, если поменяются условия?
Например: новый регион, другой тип товара, сезонность, изменения в ассортименте.
На этом пункте остановимся подробнее — свежий кейс от директора по развитию бизнеса OSMI IT Анастасии Дермичевой.
Мы делали пилот по прогнозу складских остатков для крупной компании: обучили модель на данных за 3 года, прошли проверки, получили отличную точность (несмотря на кучу нюансов).
Выходим на приёмку: берём свежий период, начинаем вручную сверять прогноз с фактом продаж — и видим, что всё объективно плохо.
Начинаем разбираться и выясняем: прямо перед приёмкой у заказчика случился резкий всплеск продаж. Причина — мощная маркетинговая кампания: спецразмещения, промо и т.п.
Мы о кампании не знали, следовательно, «не знала» и модель.
То есть модель училась на «нормальной жизни» за 3 года,
а приёмку мы устроили в «злой период» (так мы его назвали внутри проекта).
И получили классическое столкновение между бизнесом, данными и МЛ-моделью.
Вывод: нельзя проводить приёмку на периоде, где ломаются исторические данные.
Если у вас агрессивные промо, спецразмещения, массовый завоз новых товаров, а модель обучалась на данных вне таких активностей — значит, она умеет прогнозировать базовый спрос, без учёта акций.
Отсюда появляется ещё один ключевой вопрос.
🩷Что в этом периоде происходило в бизнесе такого, чего обученная модель не может знать?
В нашем кейсе мы поступили так:
🩷исключили этот период из приёмки и смотрели на качество на периодах «покоя».
🩷признали, что впредь нам важно добавлять маркетинговые события в модель и дообучать её на них.
Дальше — следующий шаг: оценочный (evaluation) тест. Это заранее согласованный набор проверок, по которым бизнес принимает решение, что всё работает так, как задумано.
🩷Если хотите — расскажем про него подробнее. Ставьте реакции — сделаем отдельный пост.
👍 Подписаться на MAX
💬 Вступить в наше коммьюнити