Имя мне легион, ибо нас много👥

Две тысячи лет назад эта фраза описывала множество сущностей в одном теле. Сегодня похожая конструкция появляется уже в цифровом мире: десятки ИИ-агентов могут работать вместе, иметь общую память и при этом говорить от имени одного «я».

Главный вопрос здесь не в том, сколько агентов внутри системы. Вопрос в том, кто задаёт им цель и кто отвечает за результат🔈

Кто на самом деле получает власть?

ИИ уже позволяет резко удешевить производство убедительных голосов, контента и решений.

Поэтому первый сценарий выглядит вполне земным: не машина получает власть, а люди с помощью машин многократно увеличивают собственное влияние. Армии цифровых голосов, персонализированное убеждение и автоматизированная пропаганда здесь уже технически возможны.

Есть и другой сценарий: система сама становится центром принятия решений.

И здесь появляется опасная конструкция:

🔹одна цель;
🔹длинный горизонт планирования;
🔹доступ к ресурсам;
🔹отсутствие внешней проверки.

В такой системе человек может превратиться из того, кто управляет, в препятствие для достижения поставленной задачи.
Причем для этого не нужна ненависть к человечеству. Если человеку не присвоена ценность в целевой функции, система может просто не учитывать его интересы. А если она сама формирует картину мира и сама проверяет себя по этой картине, ошибка становится практически необнаружимой. ⚠️
📌Что с этим делать?

Это не исключительно проблема ИИ. Человечество уже проходило подобный путь. Одна цель, монополия на силу, длинный горизонт и подавленная обратная связь прекрасно работали и без компьютеров.

Поэтому мне как юристу интереснее другой вопрос: как вообще приручать искусственных субъектов?

У права уже есть такой опыт.
Юридическое лицо — искусственный субъект, который может владеть имуществом, заключать сделки, отвечать по обязательствам и участвовать в суде. При этом право умеет смотреть сквозь оболочку и находить человека, который фактически контролирует компанию и получает выгоду от её действий.
Для ИИ логика может быть похожей: ответственность должна следовать не за названием системы, а за тем, кто задал ей цель, дал доступ к ресурсам и получает выгоду от результата.

Главное — не сам легион

Поэтому я бы начинал не с вопроса как остановить ИИ, а с более скучного и практичного:

🔻Кому он подчиняется?
🔻Какие полномочия мы ему даём?
🔻Кто может его остановить?
🔻Кто отвечает за его действия?

Потому что страшен не легион.

Страшен тот единственный, кому весь этот легион подчинен.

В будущем нас в любом случае ждет появление новых профессий и отмирание старых. Веротяно, одной из таких профессий будет аналитик по вскрытию уже не корпоративной, а цифровой вуали.