Это мы обсуждали робомобили. Там есть параметр качества системы - сколько машин обслуживает один оператор. Машина обращается к оператору в случае неопределённости (останавливается на аварийке), и оператор принимает решение что делать дальше. При этом у него нет прав "рулить" машиной (из соображений инфо.безопасности), а только выбрать вариант действия. Например, если на дороге авария и нужно объехать через две сплошные - машина сама не имеет права нарушить правила и обратится за помощью к человеку.
Получается в системе "человек+ИИ" человек выполняет функцию обработки исключений (exceptions management). Или является черным ящиком в системе управления.
Стаффорд Бир сформулировал это как кибернетический принцип внешнего дополнения: 1) при управлении большой системой необходимы «неформальные» корректировки решений, полученных из модели; 2) такие корректировки могут рассматриваться, как выход некоего «черного ящика», как встроенного между формализованной подсистемой управления и объектом управления. Через черный ящик Бир преодолевает теорему Гёделя для системы управления - всегда будут "непонятные" события (не истинные и не ложные, не плохие и не хорошие) - для них нужен "непонятный элемент" в системе управления, достаточно сложный, чтобы поглощать такие сложные "странности".
Stafford Beer and AI as Variety Engineering. Oct. 23, 2024.
Thoughts on The Unaccountability Machine by Dan Davies
This review is written by Nick Swanson from Google DeepMind’s public policy team.
https://www.aipolicyperspectives.com/p/stafford-beer-and-ai-as-variety-engineering
Every ‘rule’ is an implicit model of the world, but a model which inherently has to leave out a lot of information about the actual world. There is no intention, there is just a network of cause and effect – a system which makes an outcome inevitable. But as infuriating as reductive processes can be, they are also an essential means to help us navigate complexity. Though no rule can possibly model the world perfectly, often the absence of such a rule is worse.
Все наши модели это редукционизм и не стоит их воспринимать за панацею, правду, природу, мир или реальность. Важно смотреть на систему с разных точек зрения, но и невозможно обозреть все точки зрения. Существует некоторый практически полезный уровень целостности рассмотрения системы - Принцип достаточной целостности (Law of Requisite Holism by Matjaž Mulej).
This is a new way of thinking and not typically what public organisations have done in the past – they have tended to optimise for a specific function based on a model the world implicit in their design, rather than operate in a space where the problems they are solving for are yet to be discovered.
Организационная структура не только должна обеспечивать функции, прописанные в уставе, но и позволять адаптироваться к вызовам завтрашнего дня.
