Не прошли в FSB

В июне международный Совет по финансовой стабильности (FSB) предложил банкам стран "большой двадцатки" перенести кадровые процедуры на ИИ-агентов и обращаться с ними как с «синтетическими сотрудниками». Звучало удобно: выдать цифровому коллеге идентификатор, полномочия и начальника, а затем контролировать примерно как человека.

Метафора продержалась четыре месяца. После консультации, собравшей около 160 ответов от банков, страховщиков, платёжных компаний и разработчиков, из финального документа она исчезла. Теперь FSB прямо предупреждает: агенты «не рассуждают как люди и могут неожиданно интерпретировать заранее заданные цели». Их поведение способно меняться после подключения новых инструментов или получения новых промптов.

Поэтому вместо цифрового отдела кадров банкам стран G20 предлагают строить для агентов отдельный контур технического контроля:

▪️ограничивать доступ только необходимыми API, данными и системами;
▪️ требовать одобрения человека перед крупной транзакцией или необратимым действием;
▪️ разбивать задачу на этапы и не пускать агента дальше, пока не пройдена проверка;
▪️ ослеживать выход за первоначальные полномочия и обращения к лишним данным;
▪️ тестировать kill switch, способный остановить агента или отобрать у него доступ к инструментам и базам.

FSB отдельно советует не полагаться на объяснения самого агента: отчёты о выполненных действиях следует сверять с независимыми журналами из-за риска галлюцинаций или обмана.

А если одного агента контролирует другой, нужно проверять уже и систему надзора — чтобы не получить два вероятностных алгоритма, уверенно подтверждающих ошибки друг друга.

@anti_agi