🤖 Как устроен ИИ-агент

В эфире МФТИ «ИИ‑агенты: от LLM к автономным рабочим процессам» Никита Финченко, менеджер продукта VK Tech и преподаватель МФТИ, разбирал, как устроены ИИ-агенты. 

В основе ИИ-агента — инфраструктура, на которой запускаются модели. Поверх нее работают LLM, данные, память, инструменты и сценарии. На них и остановимся подробнее.

LLM — обрабатывает запрос и формирует ответ

Модель получает текст пользователя и тот контекст, который ей передали.
Например, пользователь спрашивает: «Почему у меня списалась 1000 рублей с кредитки?» Одного вопроса мало. Модели нужны данные по конкретному клиенту и его карте. Без них она не поймет, откуда взялась эта тысяча.

Данные — дают информацию по конкретной задаче

Агент может получить условия кредитной карты, список карт клиента, историю транзакций.

После этого модель уже видит, что у пользователя одна кредитка, по ней есть списание на 1000 рублей, а в условиях карты указано, что такая сумма списывается каждый месяц. Этой информации хватает, чтобы ответить на вопрос.

Источники данных могут быть разными: база знаний, внутренняя система компании, база данных, внешний сервис.

Память — хранит контекст диалога

Допустим, пользователь получил ответ и пишет следом: «Тогда помоги мне ее закрыть».

Из этой фразы самой по себе непонятно, о чем речь. Поэтому агент сохраняет предыдущие сообщения и передает их модели вместе с новым запросом.
Чем длиннее диалог, тем больше контекста приходится передавать в модель. Это влияет и на стоимость запросов.

Инструменты — подключают внешние системы

Если агенту нужны транзакции клиента, их надо где-то получить.

Для этого ему подключают инструменты: доступ к внутренней системе по API, базе знаний, календарю, таск-менеджеру или другому сервису.

Через них агент получает данные или выполняет нужное действие.

Сценарии — определяют порядок действий

Для части задач последовательность шагов можно задать заранее.

Например, для запроса по кредитке заранее указать, что нужно получить условия по карте, транзакции пользователя и данные его карты. После этого весь собранный контекст отправляется в LLM, которая формирует ответ.

📝 При разработке агента нужно определить, откуда он будет брать данные, какой контекст сохранять, к каким системам обращаться и какие шаги выполнять по сценарию. От этих решений зависит, как агент будет работать с реальной задачей.

⏺Смотрите полную запись эфира об ИИ-агентах по ссылке: https://vkvideo.ru/video-224205661_456239130?pl=-224205661_11