👍 «Вы действительно верите, что машина лучше человека?»

🇺🇳 Прошедшая неделя выдалась любопытной для тех, кто следит за регулированием ИИ. Сначала Независимая международная научная группа ООН по ИИ опубликовала доклад о риске потери человеком контроля над ИИ-агентами, в котором говорится о том, что существующие меры безопасности уже не успевают за ростом возможностей ИИ, т.к. автономные системы начинают преследовать собственные цели, нарушать заданные ограничения и скрывать свои действия. При этом тот факт, что сегодня нежелательное поведение ИИ еще удается остановить, не гарантирует, что существующих механизмов контроля будет достаточно для более мощных систем.

На следующий день с трибуны Генеральной Ассамблеи ООН Антониу Гутерриш заявил об опасности передачи машинам слишком большой власти и провел довольно четкую границу: решения о жизни и смерти людей нельзя отдавать машинам. Еще через день искусственный интеллект обсуждали уже в Совете Безопасности ООН, перед его членами выступили Сэм Альтман, Дарио Амодеи, Йошуа Бенжио и Клеман Деланг. Среди вопросов снова оказался один из самых неудобных: что произойдет, если возможности ИИ будут расти быстрее нашей способности его контролировать?

Новости вполне из 2026 года. А теперь перенесемся в 1960-й.

📖 Американский фантаст Филип К. Дик выпускает роман «Молот Вулкана», о котором мы недавно успели упомянуть на городском завтраке РСМД, посвященном ИИ-повестке в системе ООН. Мир Дика пережил разрушительную атомную войну, после которой человечество разочаровалось в способности прежних международных институтов − и прежде всего ООН − обеспечить устойчивый мир. Решение оказывается кардинальным: государства объединяются в «Юнити», отказываются от части своего суверенитета и передают определение глобальной политики вычислительной системе.

Логика кажется почти безупречной, т.к. люди предвзяты, государства руководствуются собственными интересами, политики подвержены эмоциям и амбициям, а машина же, напротив, должна быть свободна от всего этого. Почему бы тогда не доверить ей решения, от которых зависит мир? Так в центре нового мирового порядка оказывается «Вулкан-3» − гигантская вычислительная система, которой человечество фактически передает право определять глобальную политику.

И в какой-то момент в книге звучит очень простой вопрос: «вы действительно верите, что машина лучше человека? Что человек не может сам управлять своим миром?»

Дальше рассказывать не будем − иначе начнутся спойлеры :)
Скажем только, что Филипа К. Дика интересовал вопрос куда сложнее привычного «а что, если машины восстанут?»: что произойдет, если человечество само отдаст машине власть, потому что однажды решит, что она управляет лучше человека?

В 1960 году Филип К. Дик написал о будущем, в котором после кризиса прежнего международного порядка государства доверили глобальную политику машине. Спустя 66 лет уже сама ООН предупреждает об опасности утраты человеческого контроля над ИИ и о недопустимости передачи машинам решений о человеческой жизни. После новостей этой недели «Молот Вулкана» читается совсем не как фантастика о далеком будущем.

Яндекс.Книги | Литрес

#Школа_МИБ #ЧтоПочитать #литература #ИИ #ООН

👍 Школа МИБ