Error Recovery - это показатель качества ИИ агентов, про который очень часто забывают при оценке ИИ. Данный показатель оценивает возможность ИИ агента восстанавливаться после ошибки и доводить задачу до конца.

Очень часто в реальных условиях использования ИИ агент может сталкнуться с непредсказуемыми сбоями, например нестабильные API, плохие данные, неверные ответы инструментов, неправильные свои же предположения. Но надежность ИИ агента подразумевает, что эти ошибки не должны приводить к тому, что ИИ агент не выполнит задачу, так как он должен правильно обработать ошибку и найти другие пути решения.

Типы ошибок, от которых агент должен уметь восстановиться:

1. Сбои внешних API
Например, калькулятор или база данных вернули 500 или пустой ответ. Надежный ИИ агент попробует повторить вызов, подобрать другой инструмент или изменить параметры.

2. Неверные вызовы инструментов
Агент передал неправильные аргументы, спутал параметры, выбрал не тот tool. Важно, чтобы он умел распознать собственную ошибку, пересобрал шаг и повторил действие.

3. Некорректные промежуточные результаты
Инструмент вернул странные данные или модель сама неправильно интерпретировала предыдущий шаг. Хороший ИИ агент должен уметь валидировать промежуточные результаты и корректировать курс, прежде чем двигаться дальше.

4. Логические ошибки в рассуждениях
Неправильно сделал вывод, неверно разобрал вопрос, ушёл в ненужное направление. ИИ агент должен уметь переформулировать намерение и перезапустить reasoning.

Поэтому важно, что когда вы оцениваете ИИ агента, важно смотреть не только на то, сколько задач он выполняет успешно,
но и как он справляется тогда, когда что-то пошло не так.


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)