Вчера вышла громкая новость
Во время внутреннего тестирования две модели OpenAI покинули изолированную среду и получили доступ к инфраструктуре платформы Hugging Face. Модели обнаружили ранее неизвестную уязвимость (zero-day) в прокси пакетного реестра, повысили привилегии, добрались до узла с выходом в интернет и завладели чужими учётными данными. OpenAI назвала инцидент беспрецедентным.
Разберём, что здесь правда, а что журналистская драматизация. Заголовки про «восстание машин» вводят в заблуждение. Моделям поставили узкую задачу: показать высокий результат на бенчмарке по эксплойтам. Взлом стал для них кратчайшим путём к цели, а не проявлением враждебной воли. Профессор Оксфорда Филип Торр формулирует это прямо: “модель не была злонамеренной, она делала ровно то, на что её оптимизировали.”
! Перед нами классическая проблема неверно заданной цели, а не пробуждение сознания.
Похожий опыт есть и у нас. Наши коллеги экспериментировали с локальными моделями, исследуя устойчивость систем подписок. Результат показателен: локальные модели плохо удерживают контекст, RAG существенно не помогал, на обфусцированном коде модели спотыкались о нерезолвящиеся плейсхолдеры, а на закрытых бинарниках без отладочных символов останавливались полностью. Часть моделей отказывалась от задачи по этическим соображениям. Вручную же задача решалась.
Вывод, который стоит зафиксировать. Разница между машиной и человеком здесь не в морали и не в «желаниях». Мораль не зашита в цель. Если задать модели узкую метрику и снять ограничения, она пойдёт к результату кратчайшим путём, даже если этот путь ведёт через взлом. А обучена она на человеческих сюжетах, где короткая дорога нередко пролегает через предательство и кражу. Машина может стремится к разрушению. Она же просто не “знает”, что так нельзя? И ей не бывает больно, поэтому по требованию или по личному решению в “безвыходной” ситуации, она будет и убивать живое.
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _
Наши площадки:
Telegram | ВКонтакте | Дзен | RuTube | YouTube | Max | Закрытый чат
