С чего начать внедрять LLM в свой продукт?

Я часто слышу как люди, вдохновленные AI-технологиями, придумывают инновационные сценарии использования LLM в своих продуктах: «вот сейчас мы придумаем как дать такую супер-ценность пользователю, что наш продукт станет лучшим другом пользователя». К примеру, если у нас сервис видео-конференц-связи, то мы соберем все записи разговоров пользователя и будем выдавать ему аналитику и рекомендации для развития ораторских навыков пользователя

И тут сразу надо задаться вопросом «А оно нашему клиенту действительно нужно?» и второй тут же «А как это повлияет на стоимость нашего продукта?». Эти вопросы возвращают в реальность, через их призму становится очевидным, что ключевые зоны внедрения LLM — это всё же старая добрая автоматизация, а не мега-инновационные способы дать пользователю новый опыт

Куда же смотреть? Обратите внимание на повторяющие таски, которые обладают низкой вариативностью входных и выходных данных, какие-то медленные процессы, где можно ускорить решение с помощью предложения подсказок от LLM

Какие цифры могут помочь:
1) можно опираться на коэффициенты конверсий при переходе из одного этапа на другой (например, процент пользователей, которые заполняют форму и переходить на следующий этап воронки),
2) операционные издержки в конкретных процессах (например, стоимость одного тикета в обращении в поддержку)
3) увеличение скорости выполнения задачи (например, время на подготовку отчета, это влияет на количество задач, которые можно обработать без увеличения штата)

Нельзя полагаться на то, что LLM будет способом «заменить людей» в процессе. Скорее речь идёт о том, чтобы поставить LLM в напарники сотруднику. Например, если у вас в бэк-офисе продукта есть процесс, в котором требуется извлекать сущности из договора для дальнейшего внесения в форму, то LLM может помочь в извлечении этих данных, но перепроверку стоит доверить человеку, особенно в том случае если правильность внесения данных влияет на дальнейшие процессы

Когда мы работаем с чувствительными данными пользователей или внутренними корпоративными данными, то может стоять проблема передачи данных третьей стороне (провайдеру API, например, OpenAI или Anthropic). Если ваши данные чувствительны, возможно, стоит рассмотреть локальные модели (Llama, Mistral), но это увеличит сложность разработки

Отдельная сторона вопроса — стоимость использования LLM. Когда вы побрейнштормили и отсеяли кейсы использования, которые явно не бьют в ключевые цели вашего продукта, оцените примерно сколько может стоит сценарий. Смоделируйте работу LLM и оцените сколько токенов будет расходоваться и какая будет стоимость при использовании на модели, которую вы планируете использовать. Порой оказывается, что выхлоп от автоматизации окажется меньше, чем стоимость использования LLM, а окупаемость с учетом потраченных ресурсов разработки будет слишком длительной

Ну и касательно внедрения — не стройте сразу наполеоновских планов. Сделайте небольшой proof-of-concept, который позволит понять «а вообще это работает?» и протестируйте его на реальных данных и сценариях. Это в том числе позволит сделать более качественную оценку стоимости решения

Вижу на рынке излишний оптимизм, часто внедряют решения «ради технологии»: но даже крутая фича бесполезна, если пользователи не готовы за нее платить или она никак не экономит деньги бизнесу. В общем, думая об LLM в своём продукте, сначала концентрируйтесь на реальных проблемах и связывайте результат с бизнес-проблемами. LLM — мощный инструмент, но его сила в решении конкретных задач, а не в создании «магии»