Risk management in a dynamic society (Rasmussen), Resilience In Complex Adaptive Systems (R. Cook) Нашел в заметках за 23г, статью от 97г - но кажется материалы стали только актуальнее

В статье и докладе строится модель функционирования сложных систем (от АЭС до IT проектов), ограниченных тремя границами: экономической эффективности (сost / за ней система нерентабельна), рабочей нагрузки (сapacity / без неё — нехватка ресурсов) и отказа (accident boundary / за ней - критичные инциденты).

Система постоянно дрейфует к границе отказа/инцидентов из-за стремления сократить затраты и нагрузку. Чтобы избежать инцидентов, вводят буфер безопасности (margin of safety), но его со временем сдвигают ближе к опасной границе (normalization of deviance), что создаёт иллюзию избыточной прочности (это как ездить на максимальной разрешенной скорости). К тому же процесс часто разделён между несколькими уровнями иерархии.

Стабильность обеспечивают люди, способные адаптироваться и реагировать на угрозы, а не, почему то, регламенты. Рекомендация: сделать процесс прозрачными и обложить все мониторингом

P.S. Для автономных систем текущих ai агентов и обычных LLM с промтами может быть недостаточно