В 2012 году американская компания Knight Capital оказалась на грани банкротства за 45 минут. Причина почти анекдотическая: обновили программу на семи серверах, а восьмой пропустили. Старый код запустил лавину биржевых заявок, и пока инженеры разбирались, что происходит, автоматическая система продолжала торговать. Итог — более $460 млн убытков.
Самое интересное в этой истории — у системы была техническая возможность совершать сделки, а механизмы ограничения её действий оказались недостаточными.
Сегодня мы обсуждаем, как доверить ИИ-агентам закупки, управление производством и целые бизнес-процессы. Но кто определит, что агенту разрешено, когда он обязан остановиться и кто ответит за последствия?
Способность и право — разные вещи.
В Академии DiCE мы попробуем разобраться с этим на практике, в том числе в игре «Совет 2045», где люди, агенты и роботы будут действовать в одной организации.
Интересно, сколько полномочий мы готовы им передать, прежде чем случится первый серьёзный кризис?