Как сократить расход токенов на веб-контекст до трёх раз

Если корпоративному ИИ-ассистенту нужны свежие данные из интернета, за поиском стоит отдельная работа: загрузить страницы, очистить HTML, разбить текст на фрагменты и отобрать релевантные. Всё это нужно разрабатывать и поддерживать.

В Yandex Search API появились Smart Snippets - возможность получить подходящие фрагменты найденных страниц одним вызовом API. Отправляете запрос, получаете контекст с цитатами и ссылками на источники.

Каждый фрагмент занимает около 500 токенов. В модель отправляются нужные выдержки вместо страниц целиком. По данным команды продукта, это позволяет сократить расход токенов на веб-контекст до трёх раз при том же качестве ответа.

Итоговый ответ по-прежнему формирует ваша модель. Smart Snippets подготавливают для неё материал из веба, например, для проверки актуальных условий, поиска документации или сбора данных о рынке.

Для команд, которые строят ИИ-агентов и корпоративных ассистентов, это меньше компонентов в поисковом пайплайне и ниже затраты на обработку веб-контекста.

Свяжитесь с экспертом, чтобы протестировать – по ссылке.