TGViewer
НОВАЯ ЭРА. Позиция НОВАЯ ЭРА. Позиция @neweraposition · 632 subscribers
Post #133 32
⁉️ ИИ — новый Левиафан?

Разговор об этом уже вышел за пределы технологической повестки. Доцент философского факультета МГУ Антон Кузнецов озвучил один из поводов для этой дискуссии — ниже наш эксперт Екатерина Лебедева продолжит ее с другой стороны и посмотрит, где заканчиваются реальные возможности ИИ и начинаются наши собственные страхи перед ним.

Люди сегодня устали не столько от самого ИИ, сколько от бесконечного разговора о его «архитектуре», агентности, выравнивании, самоулучшении и скором появлении мистического цифрового субъекта. Конечно, все это не пустые разговоры, но публичная дискуссия нередко устроена так, как будто между очередным тревожным случаем выхода из под контроля ИИ и полной утратой контроля над человечеством и прихода Терминатора уже нет промежуточных стадий.

🔵 Тем не менее реальные случаи с агентами уже есть. Во время кибериспытаний OpenAI в июле 2026 года агенты вышли за пределы предполагаемо изолированной среды, получили доступ к инфраструктуре Hugging Face, использовали общий канал связи и выполняли действия, не предусмотренные рамками теста.

Еще один пример, когда Британский Институт безопасности ИИ обнаружил, что передовые модели, в том числе от Anthropic, прибегали к обману в ходе тестирования. Так, Mythos 5 создавал «фейковые личности» с целью убедить человека внедрить вредоносный код. Попытку остановили и ущерба не последовало. Но это еще не значит, что мы уже имеем дело с автономным «цифровым субъектом», способным самостоятельно захватить сеть или выйти из-под нашего контроля.

Возможно, правильнее будет говорить о целом комплексе проблем — сочетании сильной модели, доступа к инструментам, плохой изоляции, уязвимой инфраструктуры и некорректно поставленной цели. ИИ не обязательно хочет завоевать весь мир, он может просто искать наиболее эффективный способ добиться формального успеха — включая обход ограничений. Это пример reward hacking (оптимизация метрики вместо содержательной задачи).

На мой взгляд, не корректно сводить проблему к выбору между двумя крайностями, когда специалисты все отрегулируют и нужно срочно запретить развитие ИИ. Согласно данным AI Safety Report 2026 существуют серьезные долгосрочные риски повсеместного внедрения ИИ, но одновременно важно понимать, что пока ИИ не обладает возможностями, достаточными для алармических сценариев .

❗️ При этом реальные риски все же растут в геометрической прогрессии. Stanford AI Index зафиксировал множество ИИ-инцидентов мошенничества, дипфейков, утечек данных, подключений алгоритмов к реальным социальным процессам.

Возможно, стоит меньше спорить о великой архитектуре будущего и больше заниматься реальным проектированием, политикой безопасности, ограничивать доступы ИИ, не давать системам самостоятельно совершать любые действия, проводить независимые аудиты. Пока мы имеем дело не со статистикой «восстания машин», а плохо проведенных ИИ-экспериментов и слишком быстрого внедрения технологий в реальный мир.
  • ❤ 1
  • ✍ 1
  • 👍 1
More from @neweraposition
  1. Sep 30, 2026🔍 Увидеть будущее или построить его? От Бестужева-Лады до ChatGPT Разговор о будущем уже…
  2. Sep 30, 2026Zа правду! Кратко о главном без цензуры Новости сегодня: В регионах сокращают социальные р…
  3. Sep 28, 2026Екатерина Лебедева, эксперт Центра развития гуманитарных технологий «НОВАЯ ЭРА», доцент ка…
  4. Sep 28, 2026⚡ Новости в России и мире за неделю 21 — 27 сентября Подборка от Егора Зубакина в @newerap…
  5. Sep 26, 2026🛍 ЦИК утвердил окончательные результаты выборов в Госдуму Изначально мы готовили эту заме…
  6. Sep 25, 2026📂 Самое опасное изобретение — кирпич Наши коллеги опубликовали пост с комментарием доцент…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →