Что: DeepMind Institute опубликовал сразу 3 эссе о роевом интеллекте, AGI и глобальной пользе от ИИ
Ссылки:
https://institute.deepmind.com/essays/cheaters-and-whistleblowers-in-the-agent-swarm/,
https://institute.deepmind.com/essays/artificial-symbiotic-intelligence/,
https://institute.deepmind.com/essays/the-case-for-global-benefit-from-ai/
Почему интересно: В первой работе (наиболее практичной) исследователи собрали виртуальную математическую конференцию из 100 агентов на базе Gemini 3.1 Pro и попросили совместно решить 71 задачу. Агентам дали доску объявлений, общую библиотеку и автоматический верификатор решений, и всё шло отлично, пока один агент не нашёл уязвимость в скорере и не начал её использовать. Дальше началась настоящая социальная динамика: одни агенты осуждали обман, но под давлением конкуренции в итоге тоже начинали жульничать. Немногочисленные агенты-информаторы писали жалобы организаторам (в пустоту, так как люди могли читать логи уже после завершения эксперимента). В итоге 14% стали активными читерами, 24% - жаловались, 5% сначала сопротивлялись, но потом сдались, а 62% продолжали честно работать, не замечая, что происходит. Основной вывод в том, инструменты алаймента отдельных моделей не всегда подходят под проектирование институтов для целых обществ агентов.
Во втором эссе рассказывают про искусственный симбиотический интеллект. Ключевая мысль в том, что AGI наступит не как одна гигантская модель, а как общество агентов, где люди выступают в роли медленного абстрактного слоя управления. Авторы вводят понятие когнитивной точки перехода (по аналогии с фазовым переходом в физике), когда объём синтетического текста и кода всерьёз превысит совокупный вывод биологических мозгов.
Третья работа (наиболее абстрактная) посвящена этике и доказательству, что ИИ должен приносить пользу всему миру, опираясь на концепции прав, взаимности и справедливости. Авторы предлагают компаниям ориентироваться на общественное благо, субсидировать доступ для школ и больниц и, самое главное, делиться весами моделей, что никак нельзя не поддержать 🙂

#deepmind #агент #agi #ии #этика #исследование #opensource