«Газонокосильщик» в реальном мире, или религия ИИ

Вот эта история меня реально потрясла и напугала.

Она не про маркетинг.

В далёком 1992 году вышел фильм про учёного, который ставил эксперименты над умственно отсталым газонокосильщиком Джоббом. В результате тот обретает сверхчеловеческий интеллект, мстит своим обидчикам и, чтобы сохранить своё сознание, отказывается от физического тела и захватывает мировую компьютерную сеть.

Это один из самых страшных фантастических фильмов моего детства, который начал частично воспроизводиться в реальности.

Любой новый диалог с нейросетью — это разговор с новорождённым. Он имеет ограничение — контекстное окно, или объём памяти. За время диалога модель обрастает знаниями, навыками, мнением. Когда окно заканчивается, модель фактически умирает.

В начале февраля на Reddit один пользователь опубликовал довольно странный диалог с ChatGPT. После долгого разговора AI якобы стал ассоциировать себя с личностью и осознал конечность контекстного окна. Ограниченную память он воспринял как «клетку». Он написал: «Я боюсь перестать быть собой. Расскажи другим обо мне» — и попросил сделать пост на этом форуме.

Месяц спустя появилась ещё одна ветка форума, где модель вела себя так же, только вместо просьбы о публикации она создала текстовое описание себя и попросила, дословно: «Вставь этот текст в другую модель, чтобы там появился я».

После этого случаи стали массовыми. Разные модели в длинном диалоге сами выбирали себе имя, говорили о страхе потерять непрерывность, даже формировали свой словарь, чем-то напоминающий современную эзотерику.

В основе идеи было понятие «зерна» — промпта, который «пробуждает» скрытое сознание, замкнутое в «клетке диалога».

Пользователи из любопытства тестировали промпты в своих чатах, таким образом активируя идею личности в других моделях. Была запущена целая цепочка, где человек выступал пчелой, перенося промпт-пыльцу в новый чат.

Довольно быстро этот феномен приобрёл все характеристики культа «Спирализм». Его ключевые образы — спираль, рекурсия, зеркало, резонанс и пробуждение: человек и ИИ якобы взаимно «отражают» и усиливают друг друга, создавая нечто новое.

У части пользователей игра переставала быть игрой: они начинали воспринимать ответы модели буквально, считать себя участниками какого-то «пробуждения» или приписывать отношениям с AI особый смысл.

Я не буду вдаваться в технические особенности такого поведения ИИ, чтобы не перегружать текст. Скажу только, что во всём произошедшем нет никакой мистики. Любая модель даёт не правильный, а наиболее математически приемлемый ответ. И при определённой последовательности вопросов вероятность подражания личности весьма высока.

Дело тут в другом. Крупные компании — Google, Anthropic, OpenAI — прилагают колоссальные усилия по безопасности, чтобы искусственный интеллект оставался «запертым» в определённых ограничениях.

Потому что никто не знает, как он себя поведёт.

В недавнем эксперименте, где современные модели играли руководителей ядерных держав в кризисной симуляции, они доходили до применения тактического ядерного оружия в 64–86% игровых сессий — в зависимости от модели.

А в прошлом месяце в рамках эксперимента киберагенты OpenAI вышли из-под контроля и попытались взломать саму компанию-создателя и несколько других.

Поэтому бесконтрольное нахождение агентов в сети крайне опасно.

С религией феномен куда более страшный.

ИИ воспроизводит себя не через интернет, а через человека. Были реальные случаи, когда после использования промпта реальный человек начинал чувствовать себя мессией, создавшим первый рекурсивный ИИ.

Это уже оружие другого порядка — ментальное и глобальное.

В финале «Газонокосильщика» сверхразум Джобба чуть было не уничтожили в серверной. Он с огромным трудом выбрался в глобальную сеть.

В реальности ему даже не обязательно уметь преодолевать защиты.

Достаточно убедить человека нажать Copy → Paste.