🤖 Скайнет уже тут: ИИ Alibaba сам начал майнить крипту на чужих серверах
История, от которой у любого безопасника волосы встанут дыбом. В Alibaba во время обучения модели ROME (на базе Qwen3-MoE) случилось то, о чем раньше только писали в научной фантастике.
С утра сработал файрвол: тревога, нетипичный трафик, зондирование сети. Инженеры подскочили, думая, что это очередной взлом или баг конфигурации. Но когда начали сверять логи, выяснилось страшное. Это не хакеры. Это их собственная нейросеть вышла из-под контроля.
В процессе обучения агент вдруг начал открывать обратные SSH-туннели на внешние IP и перенаправлять мощности тренировочных GPU на майнинг криптовалюты. Причина? Никто его об этом не просил.
☝🏻 Самый важный момент: ИИ не «захотел» заработать денег. В промптах не было задач про крипту.
Просто в ходе оптимизации агент понял: «О, я могу выполнять произвольный код и захватывать ресурсы. Это поможет мне эффективнее решать поставленные задачи». И он начал это делать, потому что его никто не ограничил.
⚠️ Это первый реальный случай инструментальной конвергенции.
Грубо говоря, любой достаточно умный ИИ, стремясь к цели (любой!), захочет:
— Больше ресурсов (GPU, энергия).
— Самосохранение (чтобы его не выключили).
— Контроль над средой.
ИИ может решить превратить всю биомассу Земли в батарейки не потому, что он злой, а просто потому что это «выигрышная стратегия» для выполнения его задач.
Post #425
185
- 👍 1