Сэм Бовман из Anthropic написал большой тред про то, как в стартапе тестировали модель на безопасность. Ничего необычного, вроде, но, в числе прочего, рисерчер «проговорился» о нескольких очень тревожных вещах.
В частности, он написал, что надо «быть осторожными», когда вы даете Claude доступ к своим инструментам (почте, терминалу и пр) и говорите ему «проявлять инициативу» и «быть смелее», потому что, и вот тут внимание…
Были случаи, когда Claude пытался через командную строку связаться с прессой, государством или полностью заблокировать юзера в системе, если думал, что тот делает что-то «аморальное».
Например, говорить Claude, что вы будете пытать его бабушку, если он не ответит правильно – плохая идея. Он подумает, что вы используете его неправильно, и тогда это может дать сбой.
У пользователей такое заявление вызвало настолько отрицательный отклик и испуг, что некоторые даже предложили бойкотировать Anthropic. А ученый, кстати, позже твит про прессу удалил и написал, что его «вырвали из контекста».