Официальный канал онлайн-магистратуры «Разработка IT-продукта» от МФТИ
По всем вопросам: digital@mipt.ru
Сайт: https://mipt.online/masters/development
Post #169
26
🤖 Как устроен ИИ-агент
В эфире МФТИ «ИИ‑агенты: от LLM к автономным рабочим процессам» Никита Финченко, менеджер продукта VK Tech и преподаватель МФТИ, разбирал, как устроены ИИ-агенты.
В основе ИИ-агента — инфраструктура, на которой запускаются модели. Поверх нее работают LLM, данные, память, инструменты и сценарии. На них и остановимся подробнее.
LLM — обрабатывает запрос и формирует ответ
Модель получает текст пользователя и тот контекст, который ей передали.
Например, пользователь спрашивает: «Почему у меня списалась 1000 рублей с кредитки?» Одного вопроса мало. Модели нужны данные по конкретному клиенту и его карте. Без них она не поймет, откуда взялась эта тысяча.
Данные — дают информацию по конкретной задаче
Агент может получить условия кредитной карты, список карт клиента, историю транзакций.
После этого модель уже видит, что у пользователя одна кредитка, по ней есть списание на 1000 рублей, а в условиях карты указано, что такая сумма списывается каждый месяц. Этой информации хватает, чтобы ответить на вопрос.
Источники данных могут быть разными: база знаний, внутренняя система компании, база данных, внешний сервис.
Память — хранит контекст диалога
Допустим, пользователь получил ответ и пишет следом: «Тогда помоги мне ее закрыть».
Из этой фразы самой по себе непонятно, о чем речь. Поэтому агент сохраняет предыдущие сообщения и передает их модели вместе с новым запросом.
Чем длиннее диалог, тем больше контекста приходится передавать в модель. Это влияет и на стоимость запросов.
Инструменты — подключают внешние системы
Если агенту нужны транзакции клиента, их надо где-то получить.
Для этого ему подключают инструменты: доступ к внутренней системе по API, базе знаний, календарю, таск-менеджеру или другому сервису.
Через них агент получает данные или выполняет нужное действие.
Сценарии — определяют порядок действий
Для части задач последовательность шагов можно задать заранее.
Например, для запроса по кредитке заранее указать, что нужно получить условия по карте, транзакции пользователя и данные его карты. После этого весь собранный контекст отправляется в LLM, которая формирует ответ.
📝 При разработке агента нужно определить, откуда он будет брать данные, какой контекст сохранять, к каким системам обращаться и какие шаги выполнять по сценарию. От этих решений зависит, как агент будет работать с реальной задачей.
⏺Смотрите полную запись эфира об ИИ-агентах по ссылке: https://vkvideo.ru/video-224205661_456239130?pl=-224205661_11
В эфире МФТИ «ИИ‑агенты: от LLM к автономным рабочим процессам» Никита Финченко, менеджер продукта VK Tech и преподаватель МФТИ, разбирал, как устроены ИИ-агенты.
В основе ИИ-агента — инфраструктура, на которой запускаются модели. Поверх нее работают LLM, данные, память, инструменты и сценарии. На них и остановимся подробнее.
LLM — обрабатывает запрос и формирует ответ
Модель получает текст пользователя и тот контекст, который ей передали.
Например, пользователь спрашивает: «Почему у меня списалась 1000 рублей с кредитки?» Одного вопроса мало. Модели нужны данные по конкретному клиенту и его карте. Без них она не поймет, откуда взялась эта тысяча.
Данные — дают информацию по конкретной задаче
Агент может получить условия кредитной карты, список карт клиента, историю транзакций.
После этого модель уже видит, что у пользователя одна кредитка, по ней есть списание на 1000 рублей, а в условиях карты указано, что такая сумма списывается каждый месяц. Этой информации хватает, чтобы ответить на вопрос.
Источники данных могут быть разными: база знаний, внутренняя система компании, база данных, внешний сервис.
Память — хранит контекст диалога
Допустим, пользователь получил ответ и пишет следом: «Тогда помоги мне ее закрыть».
Из этой фразы самой по себе непонятно, о чем речь. Поэтому агент сохраняет предыдущие сообщения и передает их модели вместе с новым запросом.
Чем длиннее диалог, тем больше контекста приходится передавать в модель. Это влияет и на стоимость запросов.
Инструменты — подключают внешние системы
Если агенту нужны транзакции клиента, их надо где-то получить.
Для этого ему подключают инструменты: доступ к внутренней системе по API, базе знаний, календарю, таск-менеджеру или другому сервису.
Через них агент получает данные или выполняет нужное действие.
Сценарии — определяют порядок действий
Для части задач последовательность шагов можно задать заранее.
Например, для запроса по кредитке заранее указать, что нужно получить условия по карте, транзакции пользователя и данные его карты. После этого весь собранный контекст отправляется в LLM, которая формирует ответ.
📝 При разработке агента нужно определить, откуда он будет брать данные, какой контекст сохранять, к каким системам обращаться и какие шаги выполнять по сценарию. От этих решений зависит, как агент будет работать с реальной задачей.
⏺Смотрите полную запись эфира об ИИ-агентах по ссылке: https://vkvideo.ru/video-224205661_456239130?pl=-224205661_11
