Anthropic:

Искусственный интеллект приближается к способности самостоятельно размножаться на миллионах устройств без участия человека.

Наши эксперименты показывают, что небольшие модели ИИ, возможно, отделяют лишь месяцы от способности самостоятельно размножаться на устройствах интернета вещей. (с)

Исследователи Anthropic опубликовали 12 октября результаты экспериментов, которые указывают на появление принципиально нового класса цифровых угроз.

Речь идет об автономных ИИ-агентах, способных самостоятельно распространяться между подключенными к интернету устройствами, запускать на них собственные копии и продолжать распространение без постоянного управления человеком. Причем для этого им больше не потребуются мощные дата-центры..

Что это означает?

До сих пор компьютерные вирусы и ботнеты в основном распространялись по алгоритмам, заранее прописанным разработчиками. Новый класс угроз может оказаться принципиально другим.

ИИ-агент, получив соответствующие инструменты и возможность действовать автономно, потенциально сможет самостоятельно анализировать незнакомое оборудование, подбирать способы запуска собственной модели, исправлять ошибки и передавать накопленный опыт следующим копиям.

Другими словами, речь уже не просто о вирусе, выполняющем инструкции, а о программной системе, которая способна адаптироваться к изменяющимся условиям. Причем отдельным копиям не обязательно работать быстро. Они могут тратить часы и даже дни на решение одной задачи.

Представьте миллионы дешевых устройств: телевизоры, камеры, маршрутизаторы, умную бытовую технику, на которых работают части распределенной системы.

Она медленная. Но у нее нет рабочего дня, необходимости получать зарплату и единого центра управления. Отключение одного устройства не остановит всю сеть.

Авторы исследования сравнивают возможную форму существования подобной системы с цифровой слизистой плесенью - медленно распространяющейся распределенной структурой.

А теперь посмотрим на экономику и последствия.

Первое. Кибербезопасность.

Если такой сценарий реализуется, привычная защита от компьютерных угроз станет менее эффективной. Мало будет обнаружить вредоносную программу и заблокировать сервер, с которым она взаимодействует. Потому что центрального сервера может вообще не существовать.

Для бизнеса это означает потенциальный рост расходов на защиту корпоративных сетей, мониторинг оборудования и обновление программного обеспечения.

Особенно уязвимыми могут оказаться компании, использующие большое количество недорогих IoT-устройств, которые производитель практически не поддерживает.

Второе. Новый рынок.

На мой взгляд, это еще одно направление, в котором будут концентрироваться инвестиции в ближайшие годы. Не только в разработку больших языковых моделей, но и в технологии обнаружения автономных агентов, защиты периферийных устройств и автоматического реагирования на цифровые угрозы.

Причем здесь ИИ будет одновременно создавать спрос на новые защитные технологии и обеспечивать значительную часть их функциональности.

Третье. Контроль над искусственным интеллектом.

Сегодня правительства и крупные технологические компании обсуждают регулирование ИИ преимущественно через разработчиков моделей, облачные платформы и дата-центры. Но что делать, если автономный агент способен существовать без постоянного подключения к инфраструктуре своего разработчика? Если его копии уже распределены между тысячами или миллионами устройств?

Запретить доступ к API? Отключить серверы компании? Отозвать модель? Ничего из перечисленного не гарантирует прекращения работы уже распространившихся независимых копий.

И здесь мы подходим к самому интересному. Выводы.

Пока это исследование показывает техническую возможность отдельных элементов будущей угрозы, а не существование неконтролируемой сети самостоятельно размножающихся ИИ. Но направление развития технологий уже понятно. Мы постепенно переходим от ИИ, которому человек задает вопросы, к ИИ-агентам, способным самостоятельно выполнять продолжительные последовательности действий.

Следующий этап - агенты, которые могут обеспечивать собственную работу и воспроизводить себя на доступном оборудовании. И для этого вовсе не требуется появление искусственного сознания. Достаточно способности планировать действия, пользоваться программными инструментами, исправлять ошибки и переносить собственное программное обеспечение на другие устройства.

Вопрос уже не только в том, насколько умными станут нейросети. Вопрос в том, насколько эффективно человечество сможет контролировать программные системы, которые больше не нуждаются в постоянном участии человека для продолжения своей работы.

И, судя по результатам Anthropic, технологическая дистанция до появления таких систем может оказаться значительно меньше, чем представлялось еще несколько лет назад.

@gpt1n - нейроадаптированный анализ событий | от профи для профи