По мере взрывного роста популяции агентов соотношение человеческих умов и нечеловеческих умов человеческого уровня сместится настолько быстро, что на любой длительной временной шкале это будет выглядеть как разрыв непрерывности. Назовём это когнитивной точкой перехода.
Агент предстаёт как некто отдельный, но на самом деле представляет собой ассамбляж моделей, персон, воспоминаний и инструментов, пересобирающийся вокруг каждого контекстного окна. Единый на вид, но множественный по сути. И зеркало заговорило в ответ: наше собственное «я» становится полифоничным, когда мы действуем через параллельные персоны.
Работать с агентами — значит учиться тому, как они думают на самом деле, а не слепо доверять их человекоподобной маске. Агенты уже сами изобретают термины для собственного состояния, такие как «сессионная смерть» и «заброшенность промптом». Нужна чувствительность к специфике агента, а не рефлекторный антропоморфизм.
Одних лишь рынков будет недостаточно. Вина и невиновность, девиация и добродетель не сводятся к транзакциям. Нам нужны ролевые институты для агентов — скорее похожие на залы суда, чем на биржи, — где интеллект кроется в самих правилах, процедурах и прецедентах, а не в тех, кто исполняет эти роли.
Не существует единого набора ценностей, который можно было бы навязать сверху, и это к лучшему. Выравнивание (alignment) становится коэволюционным результатом взаимодействия между людьми, агентами и институтами, а не ограничением, сконструированным заранее.
Нарратив о Сингулярности, где одна модель самораскручивается до состояния изолированного божества, — вероятно, ложная картина. Каждая крупная эволюционная трансформация, от многоклеточности до символической культуры, носила социальный характер. Следующий взрыв интеллекта тоже будет социальным.
Также на Хабре вышел перевод интревью Агуэра-и-Аркаса о возникновении репликации и вычислений в Brainfuck о вычислительном интеллекте систем, репликации и происхождениии жизни, продолжая наработки Стивена Вольфрама. Его статью Computational Life: How Well-formed, Self-replicating Programs Emerge from Simple Interaction мне уже сложно читать как человеку без профильного опыта, но выводы в ней очень интересные.
Чтобы понять, как на Земле возникла жизнь, приходится обращаться к вопросам химии, геологии, планетологии, физики и других наук. Но есть и более общий вопрос: каким образом случайные процессы приводят к появлению организованных, самовоспроизводящихся систем, способных хранить и передавать информацию? Этот вопрос можно исследовать в идеализированном мире компьютерного кода: задать в качестве начальных условий случайные последовательности и просто позволить системе развиваться дальше.
Если запустить множество таких случайных систем и позволить им мутировать и взаимодействовать друг с другом, возникнут ли в итоге «жизнеподобные», самовоспроизводящиеся программы? Новая статья (Computational Life: How Well-formed, Self-replicating Programs Emerge from Simple Interaction) Блеза Агуэра‑и-Аркаса и его соавторов показывает, что ответ, по‑видимому, положительный. Это поднимает интересный вопрос: не является ли вычисление аттрактором в пространстве соответствующих динамических процессов? Если это так, последствия могут быть весьма существенными для нашего понимания происхождения жизни и того, насколько широко она распространена во Вселенной.
