На этот раз он посвящён работе с заказчиком.
Ниже прикрепляю для вас кусочек учебного диалога 💭
В целом, вижу больше будущее за такими решениями как образовательными продуктами.
Сохранил содержание и логику аргументов, но убрал разговорные повторы, неточные формулировки, стилистические шероховатости.
ИИ-заказчик
Мы занимаемся дополнительным профессиональным образованием. У нас несколько продуктовых команд, которые запускают новые программы и перерабатывают существующие. Перед запуском исследователи проводят интервью со слушателями, выпускниками и потенциальными клиентами.
Сейчас возникла проблема: интервью накапливается много, а их анализ занимает значительное время. Исследователь может провести 10–15 интервью, а затем ещё несколько дней работать с расшифровками: выделять проблемы, группировать ответы и формировать выводы для продуктовой команды. При этом результаты анализа у разных исследователей иногда заметно различаются.
Мы рассматриваем идею создания сервиса на основе искусственного интеллекта. Предполагается, что исследователь загружает интервью, а система самостоятельно выделяет основные проблемы пользователей, группирует их, находит подтверждающие цитаты и формирует итоговый отчёт.
Мы хотели бы достаточно быстро собрать первую версию такого решения и понять, насколько оно вообще может быть полезно.
Что вам необходимо узнать от меня, чтобы определить, что именно нам стоит делать?
Осипов Михаил
Во-первых, почему существующая команда не может решить эту задачу без отдельного сервиса?
Во-вторых, пытались ли вы уже решать эту проблему другими способами? Если да, то что именно предпринимали, что сработало, а что оказалось неэффективным?
В-третьих, вы говорите, что анализ интервью занимает много времени. Что именно означает «много»? И, наоборот, какой срок вы считали бы приемлемым? Для оценки эффекта будущего решения необходимо понимать текущие временные затраты и желаемый результат в измеримых показателях.
В-четвёртых, что в вашем понимании означает «полезность» сервиса? По каким показателям вы сможете определить, что проблема действительно решена или хотя бы существенно уменьшена?
И, наконец, какой бюджет вы готовы выделить на решение этой проблемы?
ИИ-заказчик
Не то чтобы мы совсем не могли решить задачу без отдельного сервиса. Сейчас исследователи выполняют эту работу вручную: читают расшифровки, делают заметки, группируют ответы, а затем собирают общий документ.
Проблема скорее заключается в том, что этот процесс занимает много времени, а результат во многом зависит от конкретного исследователя.
Мы уже пытались несколько стандартизировать работу. Например, использовали общие шаблоны анализа интервью и единые таблицы, чтобы исследователи работали более последовательно. Это помогло упорядочить процесс, но не привело к существенному сокращению времени.
Кроме того, некоторые сотрудники уже самостоятельно используют ChatGPT: вставляют туда расшифровки и просят сделать краткий анализ. Однако каждый делает это по-своему, поэтому качество результата различается. Иногда модель формулирует выводы, которые явно не подтверждаются самим интервью.
Что касается времени, точных измерений у нас пока нет. По субъективным оценкам, если проведено около десяти интервью, исследователь может потратить ещё два-три рабочих дня на анализ и подготовку итоговых выводов.
Было бы хорошо, если бы основную черновую работу можно было получить хотя бы за несколько часов, а исследователь затем только проверял и дорабатывал результат.
Что касается полезности, я бы сказал так: сервис должен сокращать время работы исследователей, использоваться ими на практике и при этом выдавать результат, которому доверяют продуктовые команды.
Но конкретных показателей мы пока не определяли. Для меня особенно важно, чтобы система не превратилась в генератор убедительно выглядящих, но недостоверных отчётов.
Бюджет на полноценную разработку пока не утверждён. На экспериментальную версию мы готовы потратить относительно небольшую сумму.
Если рабочую первую версию можно создать силами одного специалиста или небольшой команды без сложной инфраструктуры, это выглядит реалистично. Если же сразу потребуются несколько миллионов рублей и отдельная команда разработки, проект, скорее всего, не получит одобрения.
Осипов Михаил
На данный момент у вас, как мне кажется, ещё нет достаточного понимания того, какой именно показатель времени вы хотите улучшить.
Вы говорите, что анализ занимает долгое время, но пока не определено, действительно ли два-три дня являются чрезмерным сроком для такой работы. Для этого желательно иметь точку сравнения: например, данные по аналогичным процессам или хотя бы внутренние показатели разных исследователей.
Кроме того, необходимо конкретно определить желаемый результат. За сколько часов в среднем вы хотели бы получать подготовленный анализ?
Мне также интересно, какие решения предлагали сами сотрудники. Собирали ли вы исследователей отдельно, чтобы совместно разобраться в проблеме и возможных способах её решения?
Возможно, отдельный сервис вообще не потребуется, особенно с учётом ограниченного бюджета. Например, часть задачи потенциально можно решить с помощью общего рабочего пространства в ChatGPT с едиными инструкциями и стандартизированными запросами. Возможно, в отдельных случаях подойдёт более сложная система с элементами автоматизации.
ИИ-заказчик
Согласен: у нас пока действительно нет нормальной базовой точки для сравнения.
Мы знаем только приблизительно, что после примерно десяти интервью исследователь тратит ещё два-три рабочих дня на анализ и подготовку выводов. Но мы не фиксировали этот процесс системно.
Мы не знаем среднее время, разброс между сотрудниками, наиболее трудоёмкие этапы и то, какую часть работы действительно можно сократить.
Поэтому я бы пока не стал утверждать, например, что нам обязательно нужно сократить анализ до трёх часов. Скорее сначала следует измерить текущий процесс и понять, где именно возникают основные затраты времени.
Сотрудников специально для решения этой проблемы мы не собирали. Идея создания сервиса исходила в основном от руководителей.
Из того, что сотрудники пробовали самостоятельно: некоторые используют ChatGPT, кто-то создаёт собственные шаблоны запросов, а кто-то предпочитает полностью ручной анализ, потому что считает, что таким образом лучше понимает материал.
Общее настроенное рабочее пространство в ChatGPT мы отдельно не пробовали. Если оно действительно способно решить значительную часть задачи без разработки отдельного приложения, для нас это вполне приемлемый вариант.
Нам важен не сам факт создания нового сервиса.
Что касается ИИ-агента, я пока не вполне понимаю, чем он принципиально отличается от хорошо настроенного ChatGPT. Если это различие существенно для нашей задачи, его, вероятно, потребуется отдельно объяснить.
Но тогда у меня встречный вопрос.
Представим, что в ближайшие две недели вы вообще не можете ничего разрабатывать. Что бы вы предложили сделать за это время, чтобы понять реальную причину проблемы и проверить, нужен ли нам отдельный ИИ-сервис?
Осипов Михаил
Сейчас я вижу гипотезу о том, что одна из проблем может быть связана не с отсутствием сервиса как такового, а с тем, что разные исследователи обрабатывают интервью по-разному.
Поэтому сначала необходимо определить, что в вашей организации считается качественным результатом анализа интервью.
Только после этого можно принимать решение о необходимости применения искусственного интеллекта. Возможно, окажется, что проблема решается стандартизацией процесса, обучением сотрудников, едиными шаблонами и т.д.