Когда AI-агент предлагает кронштейн вместо телевизора

Короче, история. Решил я тут потестировать одного AI-агента для покупок. Вбил простой, на первый взгляд, запрос: «хочу телевизор чтобы повесить на стену»

И что вы думаете? Этот агент проигнорировал главное слово «телевизор» и вцепился в фразу «повесить на стену» и начал мне предлагать… кронштейны 🤦‍♂️ . И вроде бы логично, а с другой стороны - ну нет. Можно же было и дрель с шурупами предложить, чего уж там

Этот забавный сбой - яркий пример того, как RAG-системы могут спотыкаться о буквальную трактовку, упуская суть запроса. Как это исправить? Существует несколько продвинутых техник для настройки RAG-пайплайнов, рассмотрим некоторые из них

⭐️ Подход 1: Query Expansion
Вместо того чтобы слепо следовать запросу пользователя, система с Query Expansion генерирует несколько его вариаций, чтобы лучше понять контекст. То есть, она бы не просто искала «повесить» и «стена», а додумалась бы до запросов вроде: «телевизоры с настенным креплением» или «купить телевизор для монтажа на стену». Так основной объект телевизор остался бы в фокусе.

⭐️ Подход 2: Multi-Step RAG
Multi-step RAG - это когда система не пытается решить все в один заход, а бьет задачу на этапы. В моем случае это выглядело бы так:

⏩Шаг 1: Выделить главное: объект («телевизор») и действие («повесить на стену»)
⏩Шаг 2: Сначала найти «телевизоры». И только их
⏩Шаг 3: Из найденного отфильтровать те, что подходят под «повесить на стену»

⭐️ Подход 3: Метаданные как фильтр
Каждый товар в базе можно (и нужно!) обвешать тегами: категория, тип, цена и т.д. В контексте RAG-пайплайна важны все детали: от диагонали экрана до адреса склада

Если каждый товар в базе данных магазина имеет мета-теги вроде  category: "television"  или  type: "wall_mount" , система сработает лучше. Мой запрос «хочу телевизор» активировал бы фильтр по категории  television , и даже слова «повесить на стену» не смогли бы сбить его с толку и заставить искать аксессуары

⭐️ Подход 4: Агенты-критики и Chain of Debate
Парадигма multi-agent debate предполагает, что над задачей работает не один, а несколько специализированных AI-агентов, которые ведут «дебаты» для поиска лучшего решения

Представьте их диалог:
〰️ Агент «Анализатор запроса»: «Пользователь хочет что-то повесить на стену. Наверное, ему нужен кронштейн».
〰️ Агент «Эксперт по товарам»: «Подожди, основной объект в запросе - “телевизор”. Это главный товар. Фраза “повесить на стену” - это характеристика, а не самостоятельный запрос. Предлагать аксессуар, не убедившись в наличии телевизора, - это плохой клиентский опыт».
〰️ Агент «Модератор»: «Решено. Ищем телевизоры, которые можно повесить на стену».


Индустрия AI-агентов развивается стремительно, и сама возможность создавать «агентов для покупок» - это уже большое достижение 💪 . Однако, как показывает этот случай, RAG-архитектуры нуждаются в тонкой настройке.

Stay tuned - в будущих постах обязательно разберем каждый из этих подходов подробнее

P.S. ранее уже разбирал, где можно улучшить ваш RAG-Pipeline