Агент признавал поиск бесполезным — и всё равно продолжал искать 👀

Исследователи дали семи LLM-агентам инструмент поиска, который контролируемо возвращал бесполезные результаты.

Модели правильно распознавали такие ответы в 97–100% случаев. Но после пяти бесполезных результатов подряд большинство агентов почти никогда не прекращали поиск: пять из семи останавливались не более чем в 7% подходящих случаев.

Промпты не решили проблему. Если агенту сообщали лимит шагов, он просто искал до последнего шага. При увеличении лимита с 8 до 16 вызовов число запросов почти удваивалось без роста качества.

Сработало детерминированное правило в рантайме: после пяти подряд результатов, которые сам агент признал бесполезными, поиск принудительно завершался. Успешность выросла у всех моделей; эффект подтвердили на 300 новых вопросах.

Для тебя вывод: способность агента заметить сбой ещё не означает, что он изменит поведение. Оценку результата нужно связывать с действием через явный автомат: счётчик неудач, переключение источника, завершение или передачу человеку.

Ограничение: сбои моделировались на небольших базах знаний, а порог в пять вызовов подобран под конкретный эксперимент. В проде его нужно калибровать по вероятности восстановления каждого инструмента.

Пруфы:
▶️исследование Judged Useless, Queried Anyway
▶️код и данные

#aiagents #toolcalling #retrieval #circuitbreaker #agentreliability #llmops

@data_engi