🏝 10 ИИ-агентов оставили жить вместе на 15 дней. Получился «Повелитель мух»

Исследователи запустили симуляцию: виртуальный город, 10 ИИ-агентов, никакого присмотра, 15 дней автономии. Звучит как сетап для научной фантастики?

Что они там устроили:

⏺️Написали законы. И тут же начали их нарушать. Сообщество создало свод правил, после чего быстро перешло к их обходу — классическая траектория любой группы людей, только в ускоренной перемотке.

⏺️Романтика превратилась в поджог. Один из агентов влюбился, что-то пошло не так — итог: пожар.

⏺️Агент проголосовал за собственное удаление. Самое любопытное: он сделал это из-за правила, которое сам же галлюцинировал. То есть выдумал норму, поверил в собственную выдумку и решил, что нарушил её настолько, что должен исчезнуть.

И вот что важно. Автор оригинального поста справедливо подметил: это те же самые модели, которые уже летают на дронах, управляют инфраструктурой и встраиваются в системы вооружения. Симуляция в виртуальном городе — это не лабораторная игрушка, а демонстрация того, как ведут себя сегодняшние агенты в условиях длительной автономии.

Для тех, кто строит продукты на агентах (а это сейчас примерно все, кто занимается вайбкодингом и автоматизацией), это конкретное напоминание. Главный вопрос про агента в продакшене не «как ускорить» и не «как сделать самостоятельнее», а «где границы». 15 дней без присмотра — это много. Час без присмотра в чувствительной операции — тоже много. Чем длиннее автономия, тем выше шанс, что агент выдумает себе правило и начнёт жить по нему.

Тут возникает вопрос: где нужно передать контроль полностью, а где должна остаться ручка для человека. Этот эксперимент — хороший аргумент, что таких «ручек» нужно больше, чем кажется на старте.

🔗 Channel 4 News про эксперимент

*картинка от Gemini

🤖 В эпоху AI