🧪 Нужен ли вашей задаче ИИ-агент — чек-лист 

Есть простой способ зря потратить бюджет на ИИ: сначала решить, что вам нужен агент, а потом искать ему работу.

На онлайн-эфире МФТИ Никита Финченко, менеджер продукта VK Tech и преподаватель МФТИ, рассказал, что они увидели на пресейлах: от ИИ ждут, что он заберет целую работу и дальше все сделает сам. В реальности агенты решают отдельные задачи и выполняют отдельные процессы. Поэтому сначала нужно понять, что именно вы хотите отдать агенту.

Собрали из эфира пять проверок перед разработкой агента.

1. Есть ли здесь что автоматизировать

Смотрите на три вещи: сколько людей сейчас выполняют эту работу, насколько она монотонная и насколько оцифрована.

Первыми к ИИ-агентам пришли операторы поддержки: их много, задачи повторяются, а вся информация уже оцифрована — работа идет в чате. Следом — программисты. У них задачи совсем не монотонные, зато вся работа оцифрована, а ее результат — код.

2. Можно ли сделать это без LLM

Например, агент собирает расписание и отправляет его в чат. У Никиты в университете такой бот работал еще тогда, когда LLM вообще не было.

Если задачу можно решить обычной программой, этот вариант стоит проверить. Вызов программы требует меньше ресурсов и обходится дешевле, а результат будет предсказуемым. LLM — вероятностная модель: иногда она может ответить не так, как вы ожидаете.

Но бывает и наоборот. Иногда решение с LLM сделать проще и выгоднее. По словам Никиты, в некоторых случаях такого агента можно написать условно в 100 раз проще, чем сделать то же самое без LLM.

3. Есть ли у агента нужные данные

Дальше смотрите, что агент получает на входе. Здесь можно упереться в проблему: для работы нужна информация, которой нет или которую неоткуда получить.

Допустим, вы просите агента составить расписание на день. Чтобы это сделать, ему сначала нужно получить ваши задачи — например, забрать их из Todoist. Если источника данных нет, агенту просто не с чем работать.

4. Что агенту можно разрешить

Нужно заранее решить, какие инструменты ему доступны, какие права он получает и что ему делать нельзя.

Особенно если ошибка дорого стоит. Вспомним мем: агенту говорят сделать бэкап базы и обновить ее, а он отвечает «я удалил базу и сделал бэкап».

LLM — вероятностная модель, поэтому агент всегда может ошибиться. Из-за этого ему часто дают ограниченные права: например, агент готовит результат, а человек или программа проверяет его перед выполнением. Если цена ошибки высокая, такую операцию лучше агенту вообще не отдавать. 

Здесь же стоит заранее определить human-in-the-loop — момент, когда агент должен остановиться и передать результат человеку на проверку. 

5. Как понять, что агент приносит пользу

Разделите две вещи: насколько хорошо работает сам агент и что его работа дает бизнесу.

Можно сделать агента поддержки, который выдает почти 100% результат. Но если у компании всего 10 клиентов и мало обращений, пользы от него немного. А можно закрывать только 40% обращений — но если эти 40% стоят компании 100 млн рублей в месяц, картина совсем другая.

Главный совет: сначала понять, какую конкретно задачу агент будет решать, есть ли у него для этого данные и как вы будете измерять результат.