Инженерно-этический анализ (2/2)

5. Этический анализ порождает требования к системе

Анализ стейкхолдеров часто заканчивается планом взаимодействия: кого привлечь, с кем согласовать, кого информировать.

Этический анализ заканчивается дополнительными функциональными и нефункциональными требованиями.

В случае антифрода это могут быть:
- объяснение причины задержки;
- альтернативное подтверждение операции;
- максимальный срок человеческого пересмотра;
- экстренный канал для критически важных платежей;
- исправление ошибочных данных;
- запрет использовать единичное срабатывание как характеристику клиента;
- журнал решения модели и сотрудника;
- процедура обжалования;
- раздельный мониторинг ошибок по группам;
- автоматическая остановка при превышении порога ложных блокировок.

Иными словами:

Анализ стейкхолдеров помогает организовать работу с людьми. Этический анализ меняет само решение.

6. Этический анализ проверяет того, кто принимает решение

Анализ стейкхолдеров обычно фиксирует принимающее решение лицо как участника с высоким влиянием.

Этический анализ задаёт дополнительные вопросы:
- вправе ли этот субъект принимать такой риск;
- может ли он принимать риск за другую группу;
- кто реально отвечает за последствия;
- способен ли пострадавший оспорить решение;
- кто контролирует выполнение safeguards;
- кто обязан остановить систему;
- кто письменно принимает остаточный ущерб.

Директор по безопасности может иметь организационные полномочия запустить антифрод. Но из этого ещё не следует, что он единолично вправе принять риск тысяч ложных блокировок, особенно если последствия затрагивают права клиентов и регулируемые процессы.

Здесь различаются:
влияние ≠ полномочие ≠ ответственность ≠ право принять чужой риск.

7. D.5 добавляет аудит скрытых смещений

Обычный анализ стейкхолдеров может правильно перечислить всех участников, но всё равно пропустить смещение внутри самого решения.

Например:
- модель точна в среднем, но чаще ошибается на клиентах из регионов;
- геолокация работает как прокси социального положения;
- дашборд показывает предотвращённые потери, но скрывает число пострадавших;
- среднее время разблокировки скрывает людей, ожидавших несколько дней;
- категория «подозрительный клиент» превращает технический сигнал в характеристику человека.

D.5 отдельно проверяет представленность, алгоритмические прокси, видимость, метрики, язык категорий и человеческие последствия. Обычная техническая верификация может быть успешно пройдена, хотя эти проблемы останутся скрытыми.

Итоговое различие

Обычный анализ стейкхолдеров - Инженерно-этический анализ
Кто участвует и влияет? - Кто затронут, даже если не влияет?
Каковы интересы и ожидания? - Какие ценности, права и допустимые границы стоят за интересами?
Кто поддерживает или сопротивляется? - Кто получает благо и на кого переносится цена?
Как вовлекать участников? - Как изменить архитектуру решения?
Как управлять конфликтом? - В чём состоит конфликт ценностей и можно ли считать компромисс допустимым?
Кто принимает решение? - Кто вправе принять остаточный риск и кто отвечает за последствия?
Как коммуницировать изменения? - Какие нужны safeguards, апелляция, мониторинг и остановка?
Как обеспечить принятие решения? - Допустимо ли решение вообще?

Поэтому анализ стейкхолдеров не является альтернативой этическому анализу. Он представляет собой один из его входов.

Самая компактная схема такова:

Анализ стейкхолдеров: кто здесь есть и чего он хочет?
Этический анализ: что с каждым из них произойдёт, допустимо ли это, кто вправе это решить и что должно ограничивать решение?