Вопрос с собеса на NLP agents на 300к в Сбер - что такое tool use? когда его использовать?
Как вы и просили пост с разбором
анально/технических вопросов с собеов по агентам, сёдня разбираем базу, на которой которой видно, реально ли кандидат шарит 😱
Мой ученик сходил на собес и принёс много разных и интересных вопросов, сегодня разбираем один из них -
что такое tool use?
Что такое tool use? когда его использовать?Tool - это инструмент, через который агент взаимодействует с другими частями кода. У LLM нет рук, она сама по себе умеет только генерировать текст. Tools как раз добавляют ей эти самые руки, например: поиск в интернете, вызов API, калькулятор и т.д.
Как он работает?1⃣
Сначала мы передаем модели описание доступного инструмента. Туда идет название, что он делает, когда его использовать и JSON Schema с аргументами. Например, у нас есть tool для поиска по документам
{
"tool_name": "search_docs",
"description": "Ищет релевантные документы",
"arguments": {
"query": "string",
"top_k": "integer"
}
}
2⃣
Дальше пользователь задает вопрос: "Найди документы про штрафы за простой вагонов". Модель понимает, что нужен именно этот инструмент, потом возвращает structured output
(про структурированные ответы поговорим в следующей части поста) JSON с названием tool и аргументами
{
"tool_name": "search_docs",
"arguments": {
"query": "штрафы за простой вагонов",
"top_k": 5
}
}
3⃣
После этого в работу вступает приложение, то есть backend или код агента, который работает с LLM. Он берет параметры из сгенерированного JSON и отправляет их на вход функции, которая реально выполнит работу
search_docs(
query="штрафы за простой вагонов",
top_k=5
)
Итого мы дали нашей LLM руки, научили ее правильно вызывать инструмент, и теперь можно просто написать ей найди мне доки и модель сама пойдет вызывать код, который будет их искать 🐸
