Чек-лист. Пост-маркет мониторинг ИИ и отчётность

Если ИИ ошибается, то заплатит компания. Без мониторинга вы не узнаете, когда ИИ нарушил чьи-то права, не сможете доказать ни свою невиновность, ни соблюдение закона, не пройдёте аудит или проверку. Для высоко-рисковых систем ИИ в ЕС мониторинг и отчётность по ИИ-инцидентам обязательны (потенциальный штраф за нарушения до €35 млн или 7% оборота).

Согласно ст. 72 и ст. 73 EU AI Act, все поставщики высокорисковых ИИ-систем обязаны:
🔹 внедрить систему пост-маркет мониторинга;
🔹отслеживать поведение ИИ в реальной среде;
🔹сообщать в надзорные органы о серьёзных инцидентах в течение:
- 15 дней ( по умолчанию);
- 10 дней ( если есть вред здоровью);
- 2 дня (при угрозе жизни или инфраструктуре);

Если информацию собрать не успели, можно подать первоначальный неполный отчёт с последующим дополнением.
После подачи нужно:
- начать внутреннее расследование;
- оценить риски;
- провести корректирующие действия;
- сотрудничество с надзорными органами, которые обязаны принять меры в течение 7 дней после получения отчёта

Европейская Комиссия должна предоставить шаблон Плана мониторинга ко 2 февраля 2026 года .

📌Пост-маркет мониторинг представляет собой непрерывное отслеживание работы системы в реальной среде, выявление отклонений, инцидентов и обновление оценки рисков и включает в себя:

✔️ План мониторинга - официальный документ, включаемый в техническую документацию, должен содержать:
- методы сбора данных (например, логи, фидбек от пользователей);
- показатели для оценки качества, безопасности и недискриминации;
- критерии для активации корректирующих действий (триггеры);
- процедуры внутренней проверки и пересмотра;
- связь с системой управления качеством (QMS).

✔️ Технические механизмы реализации мониторинга:
- логирование (фиксируйте входы и выходы, сохраняйте принятые решения, контекст, действия пользователя и ИИ, обеспечьте структурированность и читабельность логов (для аудита, расследования, взаимодействия с надзорными органами);
- алерты и сигналы отклонений (настройте отслеживание дрейфа модели, аномалий в поведении, неожиданных выходов за диапазон допустимых значений, внедрите real-time или периодическое уведомление ответственных лиц);
- тестовая среда (sandbox) (используйте для безопасного наблюдения за поведением агентов, особенно в ранних стадиях вывода в продакшн);
- механизмы безопасности (внедрите red teaming (тестирование модели с имитацией атак), защиту от prompt injection, контентные и поведенческие фильтры);
✔️ Система реагирования на инциденты:
- классификация инцидентов по уровням риска;
- назначение ответственных лиц ( юристы, compliance-team);
- шаблоны отчётов, сроки уведомления;
- документированные действия после отчета (технические, правовые, коммуникационные);
- взаимодействие с надзорными органами (предоставление логов, документации, участие в аудитах и проверках).
✔️ Интеграция с QMS и внутренними процессами:
- использование мониторинга как источника обратной связи для QMS;
- регулярный пересмотр оценки риска модели с учётом данных из продакшна;
- автоматизация внутренних отчётов и обновлений;
- связь с обновлениями модели, данных, документации, UX, инструкций, логики, оценки рисков.
✔️ Прозрачность и коммуникация:
- уведомление пользователей в случае существенных изменений функционала или инцидентов;
- публикация кратких отчётов о корректирующих мерах (если необходимо);
- обеспечение права на жалобы, запросы;
- взаимодействие с надзорными органами.
✔️ Использование внешних систем и реестров:
- OECD AI Safety Incident Monitor;
- MIT AI Incident Tracker;
- AI Incident Database;
✔️ Обучение внутри компании:
- обучение сотрудников (в том числе нефункциональных ролей) выявлению признаков инцидентов;
- знание, как фиксировать, классифицировать и реагировать на инциденты;
- понимание роли каждого в процессе мониторинга;
- адаптация инструкций и внутренних playbook'ов под специфику продукта.

Если у вас нет мониторинга - это уже нарушение. Если мониторинг есть, но не встроен в процессы - это иллюзия контроля.
#LawAndDisorder
————
@pattern_ai