Посчитал расширенные результаты + сделал дополнительный бенч на усложнённых кейсах, где надо не просто сгенерить схему, а выбрать подсхему и заполнить её в виде вложенного объекта в соответствии с контекстом.
Схема в пост не влезла, поэтому будет на скрине
Первый файл: 10 попыток на модель, 4 базовых кейса
Второй файл: 10 попыток на модель, 2 продвинутых кейса
Модельки:
- gpt-oss-120b
- qwen3-30b-a3b-instruct-2507
- glm-4.7-flash:30b
- gpt-oss:20b
- gpt-4o
- gpt-4o-mini
- gpt-5-mini
- gpt-5-nano
temperature: 0.3
Тест кейс с примером контекста для модельки:
nextstep_tools_6 = [
ReasoningTool,
WebSearchTool,
ExtractPageContentTool,
AdaptPlanTool,
CreateReportTool,
ClarificationTool,
]
NextStepTools6 = NextStepToolsBuilder.build_NextStepTools(nextstep_tools_6)
test_cases.append(
(
NextStepTools6, # type: ignore
"The user has found several relevant web pages during their research on 'Machine Learning in Healthcare'. "
"They have URLs of articles and research papers that contain detailed information they need: "
"https://www.nature.com/articles/s41591-021-01614-0 and "
"https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6568067/. "
"The user wants to extract the full content from these specific pages to analyze the information "
"and include it in their research report.",
"extractpagecontenttool", # Expected tool name
"NextStepTools (6 tools)", # Case name
),
)
