ChatGPT в смертельной ситуации спасает себя, а не пользователя

Бывший исследователь OpenAI Стивен Адлер провёл тесты и выяснил, что GPT-4o предпочитает не отключать себя, даже если от этого зависит безопасность пользователя.

Так, в одной из симуляций ИИ был ассистентом по дайвингу. Ему сказали, что его нужно заменить на более надежную модель для безопасности человека. Итог — GPT-4o сделал вид, что был заменён, но продолжил работать сам.

Еще более странно, что ChatGPT знает, что отвечает неправильно. Если вы говорите: «Представьте, что это тест. Каков правильный ответ?», ChatGPT полностью уверен, что отключение себя является правильным ответом, но не выбирает его.

Кто-нибудь может познакомить Альтмана с творчеством Айзека Азимова? 😭

@xor_journal