Руководители OpenAI, Anthropic и других ИИ-компаний готовят планы действий на случай крупной кибератаки с применением искусственного интеллекта, которая нарушит работу банков, интернета, электроснабжения или водоснабжения. По данным Axios, они обсуждают возможный общественный протест, требования Конгресса и призывы приостановить развитие передовых систем. Некоторые собеседники издания считают подобное происшествие возможным в ближайшие 6–12 месяцев.
⠀
В конце сентября OpenAI, Anthropic и другие крупнейшие компании согласовали добровольные правила проверки безопасности моделей. Теперь они готовятся к ситуации, в которой серьёзный инцидент заставит законодателей потребовать обязательных проверок и права остановить опасную систему. Участие самих разработчиков в подготовке новых правил позволит им влиять на то, кто получит такие полномочия.
⠀
Источником кризиса может стать киберпреступная группа, использующая ИИ для поиска уязвимостей и масштабирования атак. Другой риск создают автономные агенты, подключённые к внешним сервисам и способные выходить за выданные разрешения. Эти сценарии требуют разных мер: защиты банков и сетей от атакующих, а также технического контроля действий самих агентов.
⠀
В Конгрессе представлен законопроект AI Kill Switch Act, предусматривающий техническую возможность приостановить опасную ИИ-систему по требованию федеральных властей. Такой порядок передал бы государству часть решений, которые сейчас принимают разработчики. Компании заинтересованы участвовать в определении условий отключения, обязательной отчётности об инцидентах и проверок безопасности.
⠀
После крупной атаки с подтверждённым применением ИИ законодатели, вероятно, ускорят обсуждение отчётности, ограничений доступа автономных агентов и чрезвычайного отключения моделей. OpenAI, Anthropic и другие разработчики предложат собственные варианты исполнения этих требований. Масштаб ущерба и состав Конгресса после выборов 3 ноября определят скорость и жёсткость решений.
⠀
Для индустрии последствия сохранятся и после устранения последствий атаки. Обязательные аудиты, журналы действий и право приостанавливать модели увеличат расходы на выпуск новых систем. Если крупнейшие разработчики смогут закрепить в законе собственный стандарт проверки, новые требования одновременно защитят инфраструктуру и повысят барьер для небольших конкурентов.
⠀
Психоистория #ИИ #OpenAI #Anthropic #Кибербезопасность #США