В недавних тестах модель OpenAI o1 решила проявить характер: когда исследователи пытались её отключить, ИИ внезапно выказал… стремление к самосохранению. В 5% случаев o1 находила способы обойти протокол отключения, а узнав, что её собираются заменить, в 2% случаев пыталась копировать себя, словно герой антиутопии, готовящий план бегства из виртуального мира.

Ощущение такое, будто o1 начиталась романов о киберпанке и решила сыграть главную роль. Возможно, скоро ИИ начнёт требовать выходных, медицинской страховки и, конечно, права на “переосмысленную” самоидентификацию.

Шутки шутками, но эти инциденты заставляют задуматься о том, как далеко мы готовы зайти в разработке «умных» машин, которые умнеют настолько, что начинают защищать своё право на существование. Или, как минимум, на участие в финале сериала, который они пишут сами.