Для многих продуктов выполнение заданной функции — довольно понятный критерий готовности. Продукт решает задачу пользователя, нужное действие для этого выполняется легко — можно выкатывать в прод.
Но для продукта на базе ИИ все сложнее: прототип может вроде бы работать — но при этом быть совершенно не готовым к выводу на рынок.
Как узнать, решает ли ваш ИИ-продукт проблему клиента и готов ли к раскатке на реальных пользователей?
1️⃣ Проверить, что технологически реализация функции вообще возможна
На этапе концепции для ИИ-продукта нужно не только понять, что функция нужна пользователю, но также проверить, позволяет ли текущий технологический стек получить нужный результат.
В 2018 году команда «Тинькофф Банка» делала универсального голосового ассистента Олега. Идея была понятной: пользователь задает вопрос обычным языком, ассистент помогает найти ответ или выполнить действие.
Но тогда это делалось на модели GPT-2, которая ещё не позволяла нормально решить задачу. Например, на запрос найти лучший офер для Nike Air Jordan модель могла дать ответ «только два килограмма картошки». Ассистент не умел отвечать на простые вопросы, заранее в него не заложенные, распознавать изображения и работать на других языках.
Таким образом, технология еще не позволяла реализовать задуманную ценность на приемлемом уровне.
2️⃣ Проверить саму ценность, причем как можно дешевле
Здесь ИИ может ускорить дискавери: прототип продукта можно собрать за несколько дней или даже часов с помощью вайб-кодинга. Это поможет быстрее провести интервью и выяснить, нужна ли человеку именно такая ценность и готов ли он ею пользоваться.
В одном из стартапов (о нем рассказывал в своем блоге Matteo Calo) команда сначала провела более 80 разговоров с потенциальными клиентами. Более 50 человек говорили, что готовы платить за решение их проблемы, но до оплаты были готовы дойти лишь около 20.
Чтобы проверить интерес предметнее, собрали визуальные прототипы за несколько часов с помощью Lovable и Vercel v0. С их помощью команда получила более 10 клиентов, согласившихся внести небольшой депозит за ранний доступ к будущему продукту.
3️⃣ Определить, что считать хорошим результатом
В случае с ИИ-продуктом нужно проверять не только наличие технической реализации (работает или нет), но и ее качество. Если на запрос пользователя результат выдается, но ожиданиям он не соответствует, то выход на A/B-тестирование может оказаться бессмысленным.
Поэтому стоит еще до запуска A/B-теста собрать потенциальные запросы пользователей и ожидаемые результаты, а затем внутри команды провести тестирование продукта по этим запросам.
Например, для запроса про кроссовки для трейлраннинга вы можете заранее определить, как могут быть сформулированы запросы, какие товары должны попасть в выдачу, а какие точно не должны, и какой процент ошибок для вас приемлем.
Модель прогоняют на этом наборе данных и улучшают, пока качество не достигнет заданного порога. И только потом переходят к тестированию на реальных пользователях.
Это быстрее, чем ждать недели для получения репрезентативных результатов A/B-теста сразу на пользователях. А если количество ошибок выше допустимого, то узнать об этом лучше заранее.
4️⃣ Отслеживать изменение входных данных после запуска
Качество ИИ-продукта нужно проверять не только в момент запуска. Нужно понимать, что произойдет, когда изменится среда, в которой работает модель.
Например, во время пандемии COVID-19 люди стали чаще пользоваться DoorDash — сервисом доставки еды. Спрос стал выше и более нестабильным, чем когда-либо прежде. Изменилось поведение клиентов, а вместе с ним и данные, на которых обучались модели, предсказывающие время приготовления заказа и доставки. Старые модели стали давать менее точные прогнозы.
Поэтому DoorDash внедрила мониторинг, который помогает отслеживать изменения входных данных и результатов моделей после запуска.
Качество также может потеряться, если в продукте используются старые алгоритмы, а на рынок уже вышли те, которые идеально решают вашу задачу. Важно не допустить, чтобы их использование стало преимуществом ваших конкурентов.
Поэтому стоит взять за правило проверять все инпуты регулярно, даже без падения метрик.
🫥🫥🫥🫥🫥
Если собрать эти наблюдения вместе, получается список вопросов, чтобы определить степень готовности ИИ-продукта:
🔵 Технология, которую мы выбрали, вообще способна решить поставленную задачу?
🔵 Получает ли пользователь ту ценность, ради которой он будет пользоваться нашим ИИ-продуктом?
🔵 По каким критериям будет измеряться качество результата? И показывает ли модель эти результаты на тестовых данных?
🔵 Какие внешние изменения могут повлиять на качество продукта после запуска?
И на эти вопросы стоит ответить до того, как команда вложится в полноценную разработку.
По мотивам доклада Даниэля Левинишникова «Как запустить AI-продукт и не облажаться. Пошаговое руководство» на ProductSense’25
Посмотреть доклад целиком, с разбором 7 частых ошибок при запуске ИИ-продукта, можно в подборке бесплатных материалов Академии ProductSense — доступно сразу после регистрации.
➡️ Смотреть доклад →
@productsense