Про безопасность нейросетей и «угрозу человечеству»

Член РАПК, интернет-технолог Захар Рубцов и его еженедельная рубрика:

В последнее время все заговорили о безопасности вокруг ИИ. Точнее, об опасности, которую может представлять искусственный интеллект. На этой неделе о рисках высказался даже Дмитрий Медведев! Публикацию при этом Дмитрий Анатольевич назвал весьма громко, даже кликбейтно – «Про ИИ и конец света». (https://t.me/medvedev_telegram/661)

Медведев привел вполне понятный пример: если продвинутые системы начнут управлять крупным производством, транспортом или другой критической инфраструктурой, цена ошибки может быть совсем высокой. И речь не идет о гибели всего человечества. Скорее возможны менее масштабные, но все же ощутимые ущербы – например, крупные техногенные катастрофы. Что же делать? Одним из возможных решений Дмитрий Анатольевич назвал общие международные правила, хотя сам же признал, что договориться государствам и корпорациям будет крайне сложно.

Еще показательнее то, что 12 сентября глава Anthropic (компания, создавшая нейросеть Claude) Дарио Амодей предложил замедлить развитие наиболее мощных моделей, чтобы технологии безопасности успевали за ростом их возможностей. Идею поддержали Сэм Альтман (ChatGPT) и Илон Маск. Говорят они, правда, не об отказе от развития ИИ, а скорее о независимом контроле, общих стандартах и дополнительных ограничениях для самых мощных систем.

Звучит все это очень здорово, но вряд ли крупнейшие компании действительно захотят всерьез остановить гонку. Слишком много денег, слишком много конкурентных интересов уже завязано на развитие ИИ. И тут классическая картина: все кивают головой и якобы согласны, что безопасность становится проблемой, но консенсуса пока нет даже и близко. 

Сейчас можно констатировать, что в некотором смысле современное развитие технологии ИИ все больше напоминает гонку вооружений. А если вспомнить, что нейросети активно применяются и в военном деле, то это и есть гонка вооружений. Думаю, мы все чаще будем слышать об ответственности за действия автономных агентов и об ограничениях для систем с доступом к критической инфраструктуре. Но вот незадача: технологии развиваются практически в реальном времени, а правила для них по-прежнему лишь на уровне концепций.