Human Oversight в AI Act: фразы «решение принимает человек» недостаточно

Испанский гайд по Human Oversight предназначен как практический инструмент для выполнения требований статьи 14 AI Act и был обновлен с учетом Digital Omnibus (здесь и остальные гайды).

👀 Три уровня человеческого контроля:
1️⃣ Human in Command (HIC) - базовый и самый общий уровень. Человек сохраняет конечную ответственность и принимает критические решения, связанные с работой ИИ-системы.
То есть вопрос не только в том, проверяет ли человек отдельный результат. Он должен иметь возможность решить, использовать ли систему вообще, когда и в каких пределах ее использовать.
2️⃣ Human-in-the-loop (HITL) - человек вмешивается до действия ИИ. ИИ может подготовить рекомендацию или решение, но перед совершением действия человек его проверяет и подтверждает.
Именно этот уровень обычно рекомендуется для высокорискового ИИ, когда необходимо валидировать каждое действие, даже если система обрабатывает большой объем операций.
3️⃣Human-on-the-loop (HOTL) - ИИ действует автоматически, а человек контролирует систему после совершения действия.
При этом должна существовать возможность вмешаться и отменить или исправить результат.
Для высокорисковых систем такой подход считается менее предпочтительным: если решение уже затронуло фундаментальные права человека, последующее исправление может оказаться невозможным или слишком поздним.

Развертыватель определяет необходимый уровень автономии исходя из конкретного use case и устанавливает соответствующую процедуру управления. Поставщик должен обеспечить технические механизмы, позволяющие реализовать выбранный уровень.

📝В гайде дается перечень технической документации, связанной с human oversight (всего 32 пункта):
▪️ по управлению рисками, управлению данными, прозрачности, точности, надежности и кибербезопасности;
▪️ технические руководства и руководства для пользователей от поставщика;
▪️ руководство по интерфейсу взаимодействия человека с системой для ее контроля (Human-Machine Interface);
▪️ модель управления системой со стороны разработчика и пользователя;
▪️ документация по выбранному уровню участия человека в принятии решений и соответствующей процедуре;
▪️ описание механизма или процедуры остановки системы. Возможность остановить систему должна существовать независимо от выбранного уровня автономии.
▪️документация по фиксации режима forced error для выявления автоматической предвзятости;
▪️ записи предложенных или выполненных системой действий и окончательных решений ответственного человека.
❗️Отдельно подчерикивается право человека не использовать ИИ, проигнорировать, изменить или отменить его результат, а также требование иметь механизм безопасной остановки системы.

❕Развертыватель определяет требования своего бизнес-процесса и уровень автономии, поставщик реализует необходимые технические механизмы, а после запуска развертыватель отвечает за соответствие поведения системы требованиям AI Act.


#LawAndDisorder
————
@pattern_ai | AI GDPR Navigator