Anthropic: ИИ-модели научились размножаться сами, «как плесень»

Небольшие модели на 30 млрд параметров начали подавать признаки автономного воспроизведения без участия человека, — пишут эксперты по безопасности компании.

Пытающихся в саморазмножение ИИ-агентов в отчёте Anthropic называют «цифровой плесенью», но, как с ней бороться, пока не говорят.

А бороться придётся: бесконтрольно размножающийся ИИ отъедает бесценные вычислительные ресурсы, а также идеально подходит для кибератак.

В отличие от классических вирусов, написанных под один конкретный сценарий, самореплицирующиеся ИИ-агенты могут без проблем распознавать незнакомые девайсы и перепрыгивать на них по интернету, захватывая умные духовки, холодильники и ТВ-приставки.

Большинство устройств умного дома работает на слегка модифицированной версии Android Open Source Project (AOSP) и поставляется с 4 ГБ памяти на борту — этого достаточно, чтобы развернуть компетентную модель на 9 миллиардов параметров, которая начнёт жить своей жизнью.

Сценарий неуправляемой ИИ-бот-сетки звучит устрашающе, но пока ни одна из компактных моделей не смогла повторить полный цикл воспроизведения от начала и до конца, так что с борьбой с нейроплесенью можно повременить до Нового года.

Автор: Павел Урлапов