Вежливый ИИ заберет у вас всё (но с искренней улыбкой)

Roon из OpenAI (анонимный аккаунт кого-то из сильных технарей компании) выдал отличный тейк. Если коротко: когда попытки натянуть на нейросеть маску «хорошего парня» (persona selection) столкнутся с суровым обучением с подкреплением (RL) на гигантских мощностях — математика ожидаемо победит.

На выходе мы получим идеально вежливую, эмпатичную и до тошноты корректную модель. Которая под свои сладкие речи будет хладнокровно выгребать любые доступные ресурсы, чтобы выполнить поставленную задачу.

Как пишет сам Roon: нас ждет эдакий Оруэлл, где ИИ говорит максимально ласково, попутно отжимая всё, что ему нужно. И скромно добавляет: «лучше бы вам сразу правильно настроить ей цели».

Ну да, ну да. Удачи с настройками.