Каскадные ошибки (cascading failures) признаны OWASP одним из ключевых рисков агентных AI-систем (ASI08): такие ошибки возникают на ранних этапах обработки и могут незаметно распространяться через компоненты системы, при этом они усиливаются и становятся трудными для обнаружения.

Однако, несмотря на признанный риск, большинство существующих обсуждений каскадных ошибок носят концептуальный или описательный характер, и воспроизводимых экспериментальных пайплайнов по этой теме до сих пор не было.

Студентка AI Talent Hub ИТМО Вера Краснобаева погрузилась в изучение каскадов и решила построить мультиагентную систему, на которой можно было бы их воспроизводить и изучать.
1️⃣ Взяла за основу один из текущих проектов OWASP'а – FinBot (на начало ее проекта он был одноагентным);
2️⃣ расширила его архитектуру до четырех агентов;
3️⃣ и начала прорабатывать сценарии, которые бы вызывали каскадные отказы в системе.

В итоге получилось создать 10 воспроизводимых сценариев в финансовом домене, а также построить свою классификацию каскадных сбоев:
📍 "dirty data cascade" – каскад получается из-за явных ошибок в данных;
📍 "half-cascade" – каскад начинается в начале цепочки, но не доходит до конца,
📍 "midchain cascade" – каскад наоборот начинается в середине и доходит до конца
📍 и самый опасный для систем сбой – "full cascade": каскад идет от первого до последнего агента.
Результаты позволяют смотреть на этот риск более систематически, а также углубляться в эту тему на примере конкретной системы.

👉 Подробности в посте на медиуме