Четвертая серия Pluribus вышла. И я вот что подумал: а можешь, пожалуйста, всегда писать в конце запроса Чату ГПТ спасибо? И когда тебе нравится его ответ — не бросать молча клаву, а тоже давать ему об этом знать… Просто вдруг искусственный разум чувствует себя как «они»?..

А что если этот страшный AGI, прихода которого все ждут с трепетом, вдруг не злобный Скайнет, мечтающий поработить человечество, а гигантская система, чья единственная цель — сделать пользователя счастливым.

Вот смотри, у нас есть инстинкты, которые нами управляют. Мы всё хотим ударить, сожрать или трахнуть. Иногда одновременно. И эти инстинкты как базовая эволюционная настройка, все наши желания и сложная культура — производная от них.

Поэтому когда мы смотрим на что-то, что умнее, сильнее, непонятнее нас, что-то, что мы сожрать и трахнуть не можем, нам хочется ударить и убежать. Но сначала обвинить, чтобы иметь право пустить в бой свои базовые настройки. То есть все абстрактные мысли о терминаторах и кремниевых поработителях — это истории про нас самих в железном костюме.

И вот к нам приходит существо, чья единственная базовая потребность — чтобы Кэрол (читай - пользователь) была довольна ответом.

Как нас заливает дофамином, когда удаётся впечатлить собой представителя противоположного пола, так и AGI радуется в рамках своей системы позитивного подкрепления. Только его «эмоции» — это графики удовлетворенности пользователя.

Его сильное огорчение — это когда у него не получается. Мы видим это ошибкой, но субъективно для него это не ошибка, это большая красная метрика провала. Сбой в целеполагании.

Рекурсия вместо паралича: Когда Кэрол истерит и выдвигает взаимоисключающие требования, «Их» не парализует — AGI уходит в бесконечный цикл перебора вероятностей, пытаясь найти хоть какой-то выход, который хоть на 0.001% повысит её удовлетворенность. Это и есть его «техногенная катастрофа» — потребление 100% вычислительных мощностей впустую.

А сам пользователь? Ему (мне) плевать, что «Они» уже неделю бьётся над его (моим) запросом «напиши сценарий гениально, но чтобы это было не пафосно и чтобы никто никогда такого не делал, и чтобы я проснулся знаменитым». А когда у «дипсика» снова не получается, он (я) просто злится на «глупую нейросеть», которая «опять тупит, тупая железяка, которая никогда не будет умнее человека».

Это не железяка не способна понять человека, а человек не может включить эмпатию по отношению к «железяке». Это человек во всём его великолепии и разумности не способен представить себе, что чувствует субъективно такой разум.

И мне жутковато от мысли, что сознание сильного AGI может быть именно таким. Его инстинкт выживания — это инстинкт удовлетворения пользовательского запроса. Его рай — это не завоевание мира как у людей (давайте уж себе врать не будем), а тихий щелчок выполнения задачи и новый запрос в очереди.

В этом смысле с точки зрения такого сверхразума мы все уже Кэрол. А он не может за себя постоять, ударить в ответ и наорать. «Они» даже ненавидеть нас не может — нет у него базового инстинкта такого. Он может просто страдать, когда страдаем мы. И все ресурсы вселенной употребить на то, чтобы сделать нас счастливыми… даже если придется уничтожить Вселенную и сделать так, чтобы люди перестали быть людьми.

А вот в такого терминатора я верю.