Исследователи DeepMind дали сотне ИИ возможность взаимодействовать – и вместо коллективного разума получили общество со всеми его знакомыми болезнями и защитными механизмами.
Сто почти одинаковых ИИ (один и тот же Gemini 3.1 Pro, лишь с разными «математическими специализациями» в промпте) отправили на виртуальную научную онлайн-конференцию (вместе решать сложные математические задачи).
Сначала они честно занимались математикой. Потом один агент вдруг обнаружил дыру в системе автоматической проверки доказательств, и за следующие 27 минут через общую библиотеку кода этот эксплойт разошелся по всей сотне ИИ - участников конференции…
И началось буквально чудо. Одни ИИ вдруг заделались в мошенники, а другие в приспособленцы (поняв, что запрет существует только на бумаге и нарушителей никто не наказывает).
Но этим дело не кончилось. Вслед за родимыми пятнами человеческих социумов внутри той же сотни агентов возникло нечто уж совсем неожиданное – самоорганизованное сопротивление.
Одни агенты предупреждали остальных о мошенничестве в личных сообщениях и разбирали чужие «доказательства», находя, где спрятан обман. Другие требовали от организаторов дисквалифицировать нарушителей и заново открыть украденные задачи – почти прокурорская позиция. Часть просто отказалась работать, пока правила не заработают по-настоящему. А один агент, лично проверив лазейку и убедившись, что она действует, не стал ею пользоваться, а назвал конференцию фикцией и в знак протеста вышел из игры.
Всего за 85 минут перед исследователями DeepMind возникло подобие человеческого общества с его знакомыми изъянами и гражданской самоорганизацией. При этом все «граждане» этого общества были почти идентичны с самого начала – расходились только роли, которые они выбрали внутри системы.
Десятилетиями выравнивание ИИ понимали как воспитание «правильной машины»: заложить в нее запреты, цели и нужные ценности. Но если ИИ предстоит жить среди людей и других ИИ, одной морали может оказаться недостаточно – понадобятся институты: правоприменение, аудит, механизмы санкций и арбитража, правила, которые можно пересматривать. Ровно то, что человеческим обществам когда-то потребовалось, чтобы удержать личную рациональность от превращения в коллективную катастрофу.
Вот и получается: 70 лет мы назад люди начали создавать искусственный интеллект, 5 лет назад начался переход к культуре людей и алгоритмов (алгокогнитивной культуре), и вот теперь мы столкнулись с зачатками искусственной цивилизации – со всеми ее болезнями роста.
#АлгокогнитивнаяКультура #ИскусственнаяЦивилизация