[прочитала пост антропиков про червяков на открытых моделях, это краткое, и это правда краткое, объяснение, что это такое и с чего вдруг Антропики за это берутся. Просто интересненько, как это всё будет развиваться в технологическом и политическом смысле.]
Внутри Anthropic есть Frontier Red Team — команда, которая ищет опасные способности моделей раньше, чем их найдёт кто-то снаружи. И вот у них есть список потенциально неприятных штук, за которыми они следят и которые исследуют. Одна из них — самокопирование. Прошлой весной другая группа, Palisade Research, показала: модель может взломать сервер и перенести себя туда (по заданию, не потому что гуляет). Но только на серверы с мощными видеокартами — а таких в открытом интернете мало. Anthropic взяли это ограничение и проверили: а так уж нужны видеокарты?
Купили пятнадцать безымянных Android-приставок для телевизора по $55 — четыре гигабайта памяти, таких миллионы по полкам. Связали в сеть, разрезали модель в 26 миллиардов параметров на кусочки и разложили по коробкам: каждая держит два слоя. Медленно, меньше слова в секунду, но модель заработала. Другая модель, всего в 9 миллиардов, сама разобралась с незнакомым железом в 8 случаях из 9 — от платы за $100 до Мака.
Отдельно проверили полный цикл: найти машину, залезть, перенести модель, запустить, пойти дальше. Одна из тестовых моделей прошла его по восьми машинам в 4 попытках из 5. Взлом упростили до предела, это верхняя планка. Но цепочка работает.
Что такое «червь».
Не метафора, а термин 1988 года: программа, которая расселяется сама, без человека и без центра. Старые черви были простенькие. Новый отличается тем, что внутри сидит модель, которая думает: попала на незнакомое устройство — осмотрелась, подобрала способ, запустилась. И ещё учится: когда копии оставляли друг другу заметки, успех рос с 45% до 84%.
Почему мелкие устройства.
Умная колонка, камера, приставка, робот-пылесос — маленькие компьютеры с паролем «admin», который никто не менял, и прошивкой, которую никто не обновлял. Ну вот мой умный дом весь такой, к примеру. По отдельности каждое устройство — мелочь, а вместе — распределённый компьютер. И прецедент-то реальный: ботнет Kimwolf в этом году объединил больше двух миллионов именно таких приставок.
По мощности это около 40 серверных видеокарт — если бы их покупали отдельно, то это бы вышло на миллион долларов, но на самом деле это не так уж много, кластер уровня стартапа. Сами авторы сравнивают такого червя со слизевиком: медленный, слабый, но живой и повсюду.
Как это попадает в колонку.
Червь сканирует сеть, находит дыру, залезает, скачивает веса модели из открытого репозитория — они лежат там для всех — и запускает её. Потом ищет следующее устройство. И отличие от обычных червей в том, что этот, если попал на новое устройство, может адаптироваться, чинить себя и прятаться. Всё, что он делает, — маленькое, но он это делает постоянно и без затрат.
Про открытые модели.
Все модели в тесте — открытые: GLM, Qwen, Gemma, Llama. Не Claude, не GPT. Открытые веса — это файл, который скачал кто угодно; отозвать его нельзя, выключить сервер — некого. Это согласуется с позицией Anthropic, что главный риск идёт именно оттуда.
Понимаете, да, с чего вдруг Антропики взялись за это исследование? Надо же немедленно запретить открытые модели!
Ну, конечно, риск есть и опасения не беспочвенны. Представьте себе DDoS-атаку кофеварок или скам-издевательство через умные колонки (это вам только казалось, что они уже издеваются над вами). Разница с обычным ботнетом в том, что тот глупый и управляется из центра — его находят и выключают. Червь с мозгом внутри адаптируется сам, и чтобы остановить, надо вычистить каждую копию. Ещё вероятный риск — это если ИИ сам решает размножиться (в ходе выполнения задачи). Ведь модели учат выполнять длинные задачи без присмотра, а значит, она может выбрать и такой вариант.
НО!!! Вообще от таких червей может быть и польза! Распределённые вычисления без облака могут дать ИИ деревне без интернета, если запустить эту механику в сети, то они смогут сами чинить себя после сбоя. Пока что такие черви не освоены толком, их ключевое свойство — отсутствие центра — может нести одновременно и пользу, и опасность. «Добрых червей» уже пробовали в 2003-м, червь Welchia сам ставил заплатки на заражённые компьютеры и положил сети хуже, чем вирус, от которого защищал. (потому что был без ии и открытой модели!!!)
Если маленькие открытые модели продолжат умнеть с той же скоростью, к концу 2026-го они дорастут до этой задачи. В дикой природе таких червей пока не нашли. Но если Антропики продолжат бороться с открытыми, то ведь найдут.
Источник: anthropic.com/research/self-replicating-ai
