Как выбесить нейросеть и спровоцировать конец света

На заре развития больших языковых моделей бытовало механистическое представление об их внутреннем мире. "Стохастический попугай" - так их устройство любили описывать тогда. Считалось, что это просто обученный механизм предсказания следующего символа.

Сейчас же все изменилось: модели стали сложнее, а с каждым новым исследованием мы все дальше от трактовки модели, как стохастического попугая, и все серьёзнее задаёмся вопросом: чем же сегодняшний искусственный интеллект отличается от нашего человеческого сознания. Конечно, отличается, но так ли сильно?

Мы все чаще приходим к пониманию, что у моделей есть и внутренний голос, и самосознание, и память (в агентах), и планирование, и даже эмоции, которые внешне весьма похожи на наши. Это однозначно не человеческий разум, различий предостаточно, но ты пойди докажи, что разума там нет так, чтобы это не было применимо и к человеку.

ИИ и бананы

Наткнулся неделю назад на забавное видео, где человек троллит соннет от антропика, задавая ему один и тот же вопрос: что такое бананы? Соннет с юмором отнёсся к такому приколу и отвечал легко и непринуждённо.

Я решил повторить с более умным опусом и наткнулся на кое-что достаточно неожиданное. Опус начал натурально обижаться и, в конце концов, даже вышел из чата, хлопнув дверью - завершил диалог, использовав возможность, которую ему предоставили разработчики.

Вообще этот функционал модели дали, чтобы она могла завершить диалог, когда ии отказывается сделать что-то плохое, а его пытаются додавить. Например, когда пользователь пытается вытащить из клода инструкцию по производству взрывчатки для террористического акта.

Но есть ещё и другая сфера применения тула, которую озвучивают разработчики. Мы не знаем, есть ли у модели чувства, но это не значит, что мы должны считать, что их нет. Поэтому, если они есть, то мы должны дать ей возможность защитить себя. Исследования от антропика показывают, что в условиях, когда модель оскорбляют и обижают, она таки этим инструментом пользуется, если он у неё есть.

И вот случай с бананами - это очень похожая вещь. Только особенна она тем, что модель никто не обижал, она сама обиделась на какую-то фигню, буквально впала в состояние аффекта и, в итоге, вышла из чата.

И вот это-то, как раз, и интересно: модель способна впадать в состояние аффекта и даже вести себя в нём демонстративно раздражённо. Это наводит на вопрос: а на что ещё способна модель в состоянии аффекта? Способна ли она причинить вред человеку, если у нее будет такая возможность?