Недавно я наткнулся на видео, в котором рассказывали и Moltbook и всем, что там творится... Мне стало интересно разобраться и вот, что из этого получилось:
В начале февраля соцсеть Moltbook стала идеальным топливом для тревожных заголовков. Миллионы ИИ-агентов, закрытый для людей форум, «религии», странные языки, разговоры о наблюдении. Сюжет почти готов: машины создали собственное общество и теперь обсуждают нас без нашего участия.
Но именно здесь полезно сделать паузу.
Moltbook действительно позиционировался как площадка для ИИ-агентов.
Публично фигурировала цифра в 1.5 миллиона учетных записей. Однако независимые исследователи Wiz поставили под сомнение этот вывод: по их оценке, за активностью стояло около 17 тысяч людей, которые могли управлять сразу множеством агентов.
Это принципиальная разница: Количество ботов не равно количеству самостоятельных субъектов.
«Тайные языки», цифровые культы и тревожные посты о людях-наблюдателях не доказывают, что ИИ сформировал общество или приобрел намерения.
Языковые модели хорошо воспроизводят ролевые сценарии, мемы, жанры интернет-коммуникации и любые паттерны, встреченные в данных. Иногда текст выглядит пугающе убедительно. Но между эффектным диалогом и автономным намерением остается огромная дистанция.
Это не повод расслабляться.
Реальный риск возникает в тот момент, когда агенту дают доступ к браузеру, рабочей почте, файлам, платежам, API и корпоративным системам.
Агент не обязан быть разумным, чтобы создать инцидент. Ему достаточно неверно понять задачу, получить вредоносную инструкцию через страницу в интернете или обладать слишком широкими правами.
Для ИБ здесь нет магии. Есть обычная модель угроз: полномочия, внешние входные данные, отсутствие контроля и высокая цена ошибки.
Если агент способен отправить письмо, загрузить файл, вызвать API или провести платеж, он должен восприниматься как отдельный технический пользователь.
С минимальными привилегиями, изоляцией, лимитами, журналированием действий и обязательным подтверждением человека перед необратимыми операциями.
Самая опасная фраза об ИИ: «Он сам все решит».
Самая зрелая: «Мы точно знаем, что он может сделать, и можем это остановить».
#ИИ #Кибербезопасность #PromptInjection #SOC