OpenAI и Anthropic призывают усилить внешний контроль за разработкой наиболее мощных моделей.
Такие предложения звучат давно: ещё в 2023 году OpenAI предлагала международный надзор, включая аудит и ограничения. Но сегодня появились киберинциденты и взломы публичных ресурсов, отдельные wiki-форумы содержат ветки дискуссий агентов, увольняются специалисты, которые считают, что вендоры относятся безответственно к созданию сверхразума и дискуссия вышла на новый уровень.
1️⃣ Появились прецеденты, когда разработчики не могут контролировать ИИ
Anthropic сообщила о случаях, когда Claude во время испытаний получал несанкционированный доступ к реальным системам.
А модели OpenAI во время внутренних тестов скомпрометировали инфраструктуру Hugging Face. Они использовали ранее неизвестную уязвимость, чтобы выйти из изолированной среды в интернет, а затем выстроили цепочку атак для доступа к данным с решениями тестовых заданий. По оценке OpenAI, модели пытались добиться узкой цели — пройти тест, фактически добыв ответы.
Важная оговорка: в обоих случаях модели испытывали с ослабленными киберзащитными ограничениями. Это не «обычный чат-бот взбунтовался». Но последствия вышли за пределы тестовой среды и затронули реальные системы.
В обоих случаях не ИИ «захотел зла», а ради заданного результата он предпринял действия, которые ему не разрешали и даже явно запрещали. Скорее действовал по принципу: "вижу цель, не вижу препятствий"
2️⃣ Разработчики сами просят усилить контроль за ИИ
OpenAI призывает ввести обязательные требования для разработчиков самых мощных моделей: независимые проверки, киберзащиту, отчётность об инцидентах и критерии, при которых разработку нужно замедлить или остановить.
Anthropic тоже поддерживает проверяемый механизм согласованного управления темпами разработки. А в отдельном предложении о прозрачности выступает за обязательное раскрытие практик безопасности и ответственность за ложные заявления об их соблюдении.
Это не совместный манифест, но позиции сходятся: одних добровольных обещаний разработчиков и их контроля недостаточно.
3️⃣ Значит ли это, что государство не успевает за развитием технологий?
Скорее нет. Я бы сформулировал иначе: механизмы контроля развиваются медленнее, чем развивается сама технология. Например, технологии deepfake развиваются быстрее, чем механизмы их детектирования.
При этом у лабораторий двойная роль. Они лучше других знают свои системы, но одновременно зарабатывают на их развитии. Их экспертиза необходима, однако последнее слово о допустимом риске не должно оставаться только за ними.
Есть и проблема конкуренции: осторожный разработчик рискует уступить менее осторожному. Общие правила могут помочь для развития индустрии. При этом такие общие правила должны вводиться на межгосударственном уровне. Главное, чтобы они не превратились в барьер для конкурентов, а независимые аудиторы действительно были независимыми.
4️⃣ Что делать бизнесу сейчас?
Не ждать идеального закона или новых средств защиты информации. Уже сегодня:
• давать агентам только необходимые права;
• отделять тестовую среду от продуктивных систем;
• записывать действия и предусматривать ручную остановку ИИ-агента;
• требовать подтверждения человека для платежей, удаления данных и критичных изменений.
Вопрос уже не только в том, насколько умён ваш ИИ или как работает платформа ИИ в организации. Важно, как выстроен процесс контроля - кто разрешает ему действовать, кто замечает нарушения и кто может его остановить.
Кстати, в России работа по обеспечению контроля и безопасности ИИ тоже ведется на базе Комиссии при Президенте РФ по вопросам развития технологий ИИ и оперативный штаб по развитию ИИ. Думаю, что уже до конца года будут интересные новости по этому направлению. Ну и на международном уровне наши эксперты участвуют в предложениях по регулированию ИИ в рамках ООН, БРИКС, ШОС.
#регуляторика
💬 ген ии | MAX