Инженерно-этический анализ (1/2)

Чтобы разобраться с этическим анализом в FPF сделал два небольших исследования:

1. По совету Анатолия Левенчука пропустил ранее разобранные программы политических партий Казахстана через пять этических паттернов раздела D. Через несколько часов работы получил этический анализ 1000 обещаний 7 политических партий.
2. Разобрал банковский проект "Внедрение ИИ для предотвращения банковских переводов".

Что выяснил?

Этический анализ - это не обычный анализ стейкхолдеров. Анализ стейкхолдеров это:
- кто заинтересован в проекте;
- кто влияет на решение;
- у кого какие ожидания;
- кто поддерживает или сопротивляется;
- как вовлекать и информировать разные группы.

Этический анализ начинает с этой карты, но идёт дальше:
- чьи права, возможности или безопасность могут быть ограничены;
- кто получает выгоду, а кто несёт риск и издержки;
- можно ли считать эти издержки допустимыми;
- кто вправе принять остаточный риск за других;
- какие нужны компенсации, апелляции и защитные механизмы;
- при каких условиях решение должно быть остановлено или пересмотрено.

Для FPF полезен анализ стейкхолдеров для выявления затронутых сторон, ценностей и долгосрочных эффектов. Но этот анализ будет только входом в более полный анализ конфликта, а не готовой процедурой его разрешения.

1. "Влиятельный" не означает "этически значимый"

В обычной матрице стейкхолдеров часто используются две оси: влияние × заинтересованность.

В результате основное внимание получают регулятор, руководство, крупный клиент, владелец продукта. Человек с низким влиянием может попасть в категорию "наблюдать" или "информировать".

Для этического анализа это опасно. У группы может не быть власти, но именно она понесёт основной ущерб.

Например, при внедрении автоматического антифрода:
- руководство банка обладает высокой властью;
- служба безопасности влияет на правила;
- регулятор способен остановить проект;
- клиент, которому ошибочно заблокировали деньги перед операцией ребёнка, почти не влияет на проект.

В анализе стейкхолдеров последний клиент - один из миллионов пользователей. В этическом анализе тяжесть и необратимость его возможного ущерба могут сделать его центральной фигурой.

Поэтому FPF D.2 требует выводить затронутые уровни и группы из конкретной ситуации, а не пользоваться готовой лестницей или ранжировать их только по организационной власти. Решение может улучшать один контур и переносить стоимость, риск или ответственность в другой.

2. Интересы не равны ценностям и правам

Анализ стейкхолдеров обычно фиксирует интерес:
- банк хочет снизить потери;
- клиент хочет быстрый перевод;
- контакт-центр хочет уменьшить нагрузку;
- регулятор хочет соблюдения требований.

Этический анализ уточняет, почему эти интересы имеют значение и что именно защищается:
- сохранность имущества;
- автономия человека;
- равный доступ к услуге;
- право на объяснение и обжалование;
- недопустимость непропорционального ограничения;
- профессиональная ответственность сотрудников;
- устойчивость финансовой системы.

Это важно, потому что интересы могут быть договорными и изменяемыми, а некоторые ценности задают границы допустимого решения.

Например:
"Клиенту неудобно ждать разблокировки" и "Человек лишён возможности распоряжаться собственными средствами без объяснения и процедуры пересмотра" - не одно и то же описание проблемы.

D.1 требует назвать ценностную рамку, затронутый объект, доказательства и допустимое использование вывода. Слова "справедливый", "ответственный" или "безопасный" без этого остаются этическими лозунгами. Техническая успешность модели сама по себе не разрешает её применение.

3. Анализ стейкхолдеров фиксирует позиции, этический анализ строит структуру конфликта

Анализ стейкхолдеров может показать:
- служба безопасности поддерживает автоматическую блокировку;
- продуктовая команда опасается ухудшения клиентского опыта;
- контакт-центр ожидает рост обращений.

Но этический анализ должен сформулировать сам конфликт:
Повышение чувствительности антифрода сокращает число пропущенных мошеннических операций, но увеличивает число законных клиентов, на которых банк переносит стоимость своей защиты.

Затем конфликт раскладывается:

Сторона А
- ценность: безопасность средств;
- бенефициары: клиенты и банк;
- последствие без меры: потери от мошенничества;
- горизонт: немедленный и накопительный.

Сторона Б
- ценность: доступ к собственным средствам и автономия;
- затронутые лица: ошибочно заблокированные клиенты;
- последствие меры: сорванные платежи, финансовый и нематериальный ущерб;
- горизонт: от нескольких минут до критических необратимых последствий.

D.3 требует связать стороны конфликта с конкретными затронутыми объектами, масштабами, доказательствами, неопределённостью и горизонтами последствий. Описание конфликта при этом ещё не считается его решением.

4. Вовлечение не заменяет медиацию

Обычный результат анализа стейкхолдеров может звучать так:
- провести консультации с клиентами;
- согласовать решение с комплаенсом;
- уведомить контакт-центр;
- подготовить коммуникационный план.

Это полезно, но не отвечает на вопрос, какая архитектура решения допустима.

Инженерно-этический анализ рассматривает варианты:
- Полная автоматическая блокировка.
- Дополнительное подтверждение клиентом.
- Человеческая проверка пограничных случаев.
- Только предупреждение без блокировки.
- Теневой режим модели.
- Отказ от применения модели к отдельным категориям платежей.

Для каждого варианта оцениваются:
- выгоды;
- ущерб;
- распределение ошибок;
- обратимость последствий;
- стоимость;
- защитные механизмы;
- остаточный риск.

Результатом может стать не только «выбрать компромисс», но и:
- запросить дополнительные данные;
- ограничить область применения;
- провести пилот;
- изменить архитектуру;
- отказаться от решения;
- разрешить применение при заданных условиях.

FPF D.4 специально удерживает отказ, запрос доказательств, условное решение и принятие остаточного ущерба как самостоятельные результаты. Формула оптимизации, положительный аудит или технический сертификат не создают морального разрешения действовать.