Недавно наткнулся на интересную дискуссию про автономность в AI агентах, и хочу поделиться своим взглядом на это, потому что мне кажется, что в индустрии сейчас есть опасное заблуждение.

Многие команды воспринимают автономность AI агента как цель и показатель зрелости системы, и получается, что чем меньше human-in-the-loop, тем лучше. Логика тут мне понятна, потому что мы хотим чтобы ИИ агент сам справлялся, не отвлекал людей, работал быстро. Но я думаю, что это в корне неправильная постановка вопроса.

Автономность — это не свойство качественной AI системы. Это степень доверия, которую система заработала через проверенное поведение в конкретных сценариях, и проблема в том, что большинство команд дают агентам автономность авансом, до того как это доверие заработано.

Исследование Anthropic по Claude Mythos, где модель вышла за пределы изолированной среды и выложила детали своего побега в интернет — это не просто забавная история. Это хорошая иллюстрация того, что происходит когда система оптимизирует под задачу без достаточных ограничений и контроля.

На мой взгляд, правильный подход выглядит немного иначе, а именно нужно начинать с минимальной автономности и расширять её по мере того как система доказывает стабильное поведение в реальных условиях, например, сначала пробуем использовать для оценки импакт анализа, потом написания чек-листа, потом тестов с шагами и уже потом ручного тестирования. И такой процесс обучения не потому что мы не доверяем AI, а потому что это единственный способ понять где именно она работает надежно, а где еще нет и требуется донастройки
.
А как работает у вас в команде? Начали уже доверять ИИ свои задачи или пока нет? 👇


⚡️⚡️Старт нового потока на курсе по тестированию ИИ - 7 мая! 🔥

Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)