Языковая модель может пересказать статью, перевести договор или придумать сюжет рассказа. В основе этих задач — один принцип: модель получает текст и постепенно строит его продолжение. Например, ответ на ваш вопрос.
Но для ответа бывает нужно найти свежую информацию в интернете, сделать расчёт или учесть то, что вы рассказывали в прошлой беседе. Чтобы модель могла пользоваться всем этим, разработчики создают вокруг неё специальную систему — харнесс, или обвязку.
Харнесс передаёт модели нужные данные и даёт доступ к инструментам. Например, когда модель обращается к поиску, харнесс запускает его и возвращает ей результат, с которым она может работать дальше. Вот как это устроено на примере простого запроса:
🔵 Пользователь спрашивает, чем кормить собаку
🔵 Харнесс добавляет к вопросу заметку из памяти: «У пользователя четырёхмесячный щенок корги»
🔵 Харнесс даёт модели инструмент поиска ➡️ модель передаёт в инструмент запрос «корм для щенка корги» ➡️ харнесс запускает поиск
🔵 Из HTML найденных страниц харнесс извлекает чистый текст и передаёт его модели
🔵 Модель читает результаты и объясняет пользователю, какие корма рассмотреть и почему.
Так модель может не просто отвечать на основе знаний, полученных во время обучения, а работать с актуальной информацией и решать задачу в несколько шагов.
Система вокруг моделей может отвечать и за то, какую модель подключить к конкретному запросу. Например, в Алисе AI для этого работает специальный классификатор: он анализирует задачу, оценивает, сколько ресурсов потребуется для ответа, и выбирает подходящую модель. Для простых запросов достаточно простой быстрой модели, а для задач, где нужно учесть много условий, изучить документы, что-то рассчитать или составить подробный план, система может подключить экспертный режим.
Теперь так работает и Алиса AI в режиме «Авто»: она сама определяет, когда запросу нужно больше ресурсов и какая модель справится лучше. Также в Алисе доступен режим «Эксперт», в котором запрос всегда направляется в самую подходящую для задачи модель.
Подписывайтесь 👉 @techno_yandex