На прошлой неделе опять резко вырос градус разговоров об опасности ИИ. Исследователи увольняются с громкими заявлениями, руководители OpenAI, Anthropic и других компаний говорят о необходимости замедлить развитие наиболее мощных моделей. Тема уже вышла далеко за пределы ИТ и дошла до политиков и регуляторов. От Пентагона требуют обеспечение механизма отключения ИИ-систем в оборонной сфере
При этом сама проблема далеко не новая. В России ещё в 2021 году приняли Кодекс этики в сфере ИИ. В документах правительства отдельно прописаны риск-ориентированный подход, подконтрольность ИИ человеку и вопрос ответственности за возможный ущерб.
Китай тоже не ждёт появления Skynet. Сценарий «потери контроля» появился в китайских документах ещё в 2024 году. Сейчас для AI-агентов вводятся требования уметь обнаруживать, блокировать и откатывать нежелательные действия, готовится обязательный стандарт безопасности. Но останавливать развитие ИИ Китай при этом не собирается - логика скорее «развиваем быстро, но строим ограждения».
Есть и гораздо более приземлённый вопрос — ответственность. Дмитрий Медведев на днях сформулировал его довольно жёстко: разработчиков может больше беспокоить не уничтожение человечества, а ситуация, когда ИИ, управляющий производством или транспортом, причинит реальный огромный ущерб.
«И тогда придут уже за создателями generative AI. И предъявят многомиллиардные иски».
И тут начинают появляться интересные подробности самой нынешней волны паники.
Anthropic сообщила о случаях, когда её модели получили несанкционированный доступ к реальным системам. Но происходило это во время кибериспытаний: моделям специально ставили задачи по взлому, а тестовая среда ошибочно дала им доступ в интернет. Причём опубликованные самой Anthropic данные показывают, что поведение моделей сильно зависело от поставленной задачи и информации о том, что они находятся уже не в песочнице.
То есть пока это выглядит не только как проблема «неуправляемого ИИ», но и как очень знакомая архитектурная/инженерная история: права доступа, изоляция, ограничения среды и ответственность тех, кто всё это проектировал.
А дальше в дискуссию пришли инвесторы. Майкл Бьюри (тот самый, фильм "Игра на понижение") считает эти призывы выгодными прежде всего самим лидерам AI-рынка Его версия: ограничения выгодны крупнейшим игрокам - они закрепляют уже достигнутое технологическое преимущество и увеличивают ценность компаний перед будущими IPO. Это именно мнение Бьюри, но вопрос он поднимает вполне рациональный: кому выгодны новые правила игры?
Инвестор Кевин Басс пошёл ещё дальше и призвал Конгресс проверить связи Anthropic с организациями, которые занимаются оценкой безопасности ИИ и финансированием профильных исследований и журналистики. Часть финансовых связей действительно прослеживается, но вывод Басса о созданной Anthropic «машине регуляторного захвата» пока остаётся его интерпретацией, а не установленным фактом.
В общем, я бы не спешил ни смеяться над рисками ИИ, ни готовиться к восстанию машин.
Риски есть, они понятны, с ними надо работать. Но вокруг них уже идёт вполне человеческая борьба за деньги, ответственность, регулирование и контроль над рынком.