ИИ в ближайшее время может научиться самостоятельно распространяться между устройствами — без участия человека.

Исследователи Anthropic описывают сценарий так называемых «ИИ-червей» — автономных программ, способных находить уязвимые устройства, создавать на них собственные копии и продолжать распространяться без участия человека. Потенциальными узлами такой сети могут стать самая обычная бытовая техника и электроника.

В экспериментах нейросети уже смогли самостоятельно настраивать запуск моделей на незнакомом оборудовании. Более мощная модель в четырёх случаях из пяти успешно организовала распространение другой нейросети сразу на несколько устройств.

Ещё интереснее механизм обучения. Когда новой копии передавали историю действий предыдущей, успешность выполнения задачи заметно возрастала. То есть каждая следующая «генерация» потенциально сможет учитывать ошибки предыдущей и распространяться эффективнее.

Главная проблема в том, что у такой системы не будет единого центра управления. Отключить один сервер будет недостаточно: копии смогут находиться на множестве разных устройств и продолжать работу самостоятельно.

Иными словами, мы постепенно приближаемся к эпохе, когда искусственный интеллект сможет выполнять всё больше задач полностью автономно, без постоянного участия человека.

Константин Двинский. Подписаться.