⁉️ ИИ — новый Левиафан?
Разговор об этом уже вышел за пределы технологической повестки. Доцент философского факультета МГУ Антон Кузнецов озвучил один из поводов для этой дискуссии — ниже наш эксперт Екатерина Лебедева продолжит ее с другой стороны и посмотрит, где заканчиваются реальные возможности ИИ и начинаются наши собственные страхи перед ним.
Люди сегодня устали не столько от самого ИИ, сколько от бесконечного разговора о его «архитектуре», агентности, выравнивании, самоулучшении и скором появлении мистического цифрового субъекта. Конечно, все это не пустые разговоры, но публичная дискуссия нередко устроена так, как будто между очередным тревожным случаем выхода из под контроля ИИ и полной утратой контроля над человечеством и прихода Терминатора уже нет промежуточных стадий.
🔵 Тем не менее реальные случаи с агентами уже есть. Во время кибериспытаний OpenAI в июле 2026 года агенты вышли за пределы предполагаемо изолированной среды, получили доступ к инфраструктуре Hugging Face, использовали общий канал связи и выполняли действия, не предусмотренные рамками теста.
Еще один пример, когда Британский Институт безопасности ИИ обнаружил, что передовые модели, в том числе от Anthropic, прибегали к обману в ходе тестирования. Так, Mythos 5 создавал «фейковые личности» с целью убедить человека внедрить вредоносный код. Попытку остановили и ущерба не последовало. Но это еще не значит, что мы уже имеем дело с автономным «цифровым субъектом», способным самостоятельно захватить сеть или выйти из-под нашего контроля.
Возможно, правильнее будет говорить о целом комплексе проблем — сочетании сильной модели, доступа к инструментам, плохой изоляции, уязвимой инфраструктуры и некорректно поставленной цели. ИИ не обязательно хочет завоевать весь мир, он может просто искать наиболее эффективный способ добиться формального успеха — включая обход ограничений. Это пример reward hacking (оптимизация метрики вместо содержательной задачи).
На мой взгляд, не корректно сводить проблему к выбору между двумя крайностями, когда специалисты все отрегулируют и нужно срочно запретить развитие ИИ. Согласно данным AI Safety Report 2026 существуют серьезные долгосрочные риски повсеместного внедрения ИИ, но одновременно важно понимать, что пока ИИ не обладает возможностями, достаточными для алармических сценариев .
❗️ При этом реальные риски все же растут в геометрической прогрессии. Stanford AI Index зафиксировал множество ИИ-инцидентов мошенничества, дипфейков, утечек данных, подключений алгоритмов к реальным социальным процессам.
Возможно, стоит меньше спорить о великой архитектуре будущего и больше заниматься реальным проектированием, политикой безопасности, ограничивать доступы ИИ, не давать системам самостоятельно совершать любые действия, проводить независимые аудиты. Пока мы имеем дело не со статистикой «восстания машин», а плохо проведенных ИИ-экспериментов и слишком быстрого внедрения технологий в реальный мир.
Post #133
32


- ❤ 1
- ✍ 1
- 👍 1