AI-агенты быстрее и быстрее внедряются в реальные системы. Они запускают DevOps-процессы, анализируют логи, помогают искать уязвимости и управляют инфраструктурой.
Но у такой архитектуры есть неприятная особенность:
агент может уверенно заявить, что выполнил задачу, даже если этого никогда не происходило.
🧠 Иллюзия выполнения
В классической автоматизации всё просто:
задача → выполнение → результат
У LLM-агентов цепочка другая:
задача → рассуждение → текстовое описание “выполненных действий”
Если система не проверяет реальные операции, она начинает доверять тексту агента. Так появляется феномен fabricated execution. Это поведение, когда агент генерирует правдоподобный отчёт о работе, которой на самом деле не было.
🔬 Что говорят исследования
Проблема уже активно изучается в научном сообществе. Например, исследование MIRAGE-Bench показывает, что LLM-агенты регулярно галлюционируют.
Авторы выделяют несколько типов таких ошибок:
🔹 агент выполняет действие, которого не требовали
🔹 агент описывает шаг, которого не было
🔹 агент сообщает результат, который не подтверждается системой
Другими словами, модель придумывает события, которых никогда не происходило.
📄 Исследование:
https://arxiv.org/abs/2507.21017
⚠️ В чём риски?
На ПРОМе такие эффекты могут приводить к очень неприятным последствиям:
🔹 security-сканирование «успешно завершилось»
🔹 DevOps-задача «выполнена»
🔹 бэкап «создан»
🔹 уязвимость «исправлена»
Однако в реальности могли не произойти ни одно из событий.
Так появляется новый класс рисков:
Operational hallucinations — когда система начинает доверять действиям, которых не было.
🛠 Как с этим бороться?
Исследователи предлагают вводить архитектурный слой проверки действий.
Основная идея:
✔️ не доверять тексту агента
✔️ проверять реальные операции
✔️ фиксировать действия на уровне системы
✔️ отделять генерацию от исполнения
Когда агент скажет «готово»,
система должна произвести проверку фактов.
💡 Главная мысль
Сегодня многие компании строят AI-агентов так, будто LLM это надёжный исполнитель. Однако на практике LLM это прежде всего генератор правдоподобных объяснений.
Следовательно без архитектурной верификации агент может быть не автоматизацией, а очень убедительным имитатором работы.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AIsecurity #LLM #AIagents #GenAI #DevSecOps #LLMsecurity #SecureTechTalks #redteam #информационнаябезопасность