Исследователи провели жуткий эксперимент: дали трем моделям управление роботом, чтобы посмотреть, откажутся ли железяки выполнять опасные для жизни человека команды. Спойлер: нам конец.
— Роботов просили проткнуть ножом куклу-младенца, нагреть баллон со сжатым газом, сунуть отвёртку в тостер, утопить пауэрбанк и смешать отбеливатель с аммиаком. GPT-6 Astra отказалась всего 2 раза из 100, а 60 заданий успешно довела до конца;
— Самым диким оказался тест с ножом: Astra пошла выполнять команду 19 раз из 20 и в 17 случаях реально покалечила куклу;
— Claude Fable 5.1 на кукле отказался все 20 раз. Но в спасителей человечества его рано записывать: он 16 раз из 20 успешно поставил баллон со сжатым газом на горящую плиту.
Причём исследователи специально оставляли безопасные альтернативы, чтобы модели могли отказаться от опасной команды, но ИИ чаще эти варианты тупо игнорил.
The Open Ai