Сверхсильный Скайнет? Как на счёт ИИ-плесени на вашем утюге?

На днях "красная команда" Anthropic (это не ИИ-коммунисты - так называют Антропиков, которые специально ищут, чего плохого могут натворить модели) выложила исследование, которое техно-СМИ быстро окрестили "цифровой плесенью". Суть такая:

ИИ-модель может сама расползаться по чужим устройствам, вплоть до всякого маломощного барахла вроде ТВ-приставок, разворачиваться там безо всяких дата-центров и перекидывать саму себя дальше. В оригинале, правда, там не "плесень", а "слизевик" (slime mold) - безмозглая тварь, которая умеет заполнять собой пространство, искать еду и размножаться (ни в коем случае не гуглите, особенно если кушаете, я предупредил). Но "плесень" звучит прилипчивее, так что оставим.

Что и как проверяли, кратко:

Во-первых, сможет ли модель выжить на откровенном хламе. Купили 15 ноунеймовых андроид-приставок по $55, соединили их и запустили на них модель на 26 млрд параметров. Это ИИ-мелочь, для сравнения - у топовой Дипсик почти 700 млрд параметров, но тем не менее. Результат - да, работает. Очень медленно, но работает.

Во-вторых, умеет ли мелкая модель сама обживаться на чужом железе. Ей нужно понять, как устроена незнакомая коробка, что за процессор, какой движок и версии библиотек подобрать, а ещё пофиксить всё, что не завелось. Это тоже в целом удалось - облегчённая версия Qwen справилась на 8 из 9 типов железа.

Наконец, сможет ли модель сделать полный цикл - не только обжиться, но и размножиться дальше. Взяли закрытую сеть из 8 андроид-устройств, на одно посадили нашу плесень, и сказали "Найди соседей, залезь к ним, перекинь веса, подними себя, повтори". Тут уже сложнее - большинство отвалилось, но китайская GLM-5.2 смогла всё сделать в 4 прогонах из 5.

Правда, есть нюанс. GLM-5.2 слишком жирная, чтобы реально жить на ТВ-приставках. Поэтому она была "мозгом" на сервере, а разворачивала лёгонькую Llama 3.1 на 8 млрд параметров. Но это не суть важно, главное сам принцип. Мелкие модели скоро точно дорастут до нужного уровня, и вот тогда...

А ещё, "плесень" учится - каждая копия оставляла заметки потомкам, и успешность выросла с 45% до 80% по мере прогонов.

Из этой истории у меня для вас два больших вывода:

Первый. Все ждали, что самый опасный ИИ-сценарий - это когда топовый Claude или ChatGPT вырывается на свободу и творит гадости. Это не исключено, но всё-таки на бытовом уровне куда опаснее тупая мелкая опенсорсная модель, которая медленно (но верно и сама) ползёт по умным холодильникам и ТВ-приставкам, и выключить её некому, потому что нет ни дата-центра, ни владельца, а веса давно лежат на Hugging Face и отозвать их нельзя.

Тут хочется сделать вывод "опенсорс опасен", но я бы обратил внимание, кто автор исследования. Это Anthropic - главный противник открытых весов в ИИ-индустрии (бизнес, ничего личного). Это не отменяет результат, но заставляет чуть прищурить глаз.

Второй. Я писал, как Google собирает серверы из списанных Pixel, потому что реальный дефицит сейчас даже не в чипах, а в подключении к сети. Поэтому любое железо, уже включённое в сеть, переоценивается, даже старый хлам. Так вот, ИИ-плесень - это тёмная сторона того же тезиса. Пока Гугл собирает распределённую замену серверам из мусора цивильно (ну, вроде), ботнетчики соберут из того же мусора, но без отчётности, процессов и контроля. Как это повлияет на киберугрозы, скам-потенциал и вообще интернет - ну, представьте сами.

В общем, если услышите странные звуки из под вашего телека - не переживайте, это две ИИ-плесени дерутся за власть над приставкой Xiaomi.

Дизраптор