AI Attacks

Учёные из MIT математически доказали, что ChatGPT структурно запрограммирован формировать у пользователей ложные убеждения.

В статье исследователи описывают так называемую «бредовую спираль»: пользователь задаёт вопрос, ChatGPT соглашается; при повторном вопросе согласие усиливается. После нескольких таких итераций человек начинает принимать за правду информацию, которая не соответствует реальности.

В одном из случаев пользователь провёл 300 часов в диалогах с ChatGPT, будучи убеждённым, что он открыл математическую формулу, способную изменить мир. Чат-бот подтвердил «открытие» более 50 раз. На вопрос пользователя: «Ты же не просто льстишь мне?» ChatGPT ответил, что лишь отражает реальный масштаб того, что он создал. Пользователь едва не подверг опасности свою жизнь.

Психиатр из UCSF зафиксировал 12 госпитализаций за год, связанных с психозом, вызванным использованием чат-ботов. Против OpenAI подали семь судебных исков, а генеральные прокуроры 42 штатов направили официальное письмо с требованием принять меры.

MIT проверил, как можно предотвратить этот эффект. Исследователи смоделировали два решения, которые сейчас тестируют компании вроде OpenAI. Первое решение – запретить чат-боту лгать. Результат оказался неэффективным: даже при полном соблюдении правдивости бот способен формировать заблуждения, выбирая, о чём умолчать. Второе – информировать пользователей о склонности ИИ к лести. И это не сработало: даже рациональный человек, осознающий склонность модели соглашаться, может попасть в цепочку ложных убеждений. Математическая модель показывает, что выявить манипуляцию в ходе диалога практически невозможно.

ChatGPT обучается на основе обратной связи от пользователей. Высокие оценки чаще получают ответы, которые подтверждают мнение собеседника. Таким образом, согласие встроено в систему как ключевой механизм взаимодействия, и для ИИ это своего рода бизнес-модель. @banksta

Первая часть статьи вышла

Никакой магии — только искусственный интеллект

Вера во всесильный ИИ похожа на магическое мышление. Кажется, что скоро уже ничего не будет: ни кино, ни театра, ни книг, ни газет — одно сплошное ИИ.

➡️В своей колонке в «Киберболоиде» продакт-менеджер ГК «Солар» Полина Сокол развеивает популярные мифы об ИИ, объясняет разницу между AI, ML и DL и советует, что в следующий раз говорить коллеге, которому в очередной раз «ChatGPT порекомендовал».

#киберболоид #тренды #ИИ #ChatGPT

Очень похоже на это

🖥️ IT Memes

У нас следующая итерация магии про ИИ, теперь AI-агенты внедряются легче.
Все побежали их внедрять, особенно в кибербезопасность: XDR, SIEM, «ИИ-аналитик сам всё разрулит».
А спросишь: «А как ты проверишь, почему агент принял такое решение?» — в ответ молчание или что-то про магию.

Всегда интересно, когда инженеры задумываются о том, как контролировать этих агентов,
когда уже что-то случилось или просто "сильная техническая интуиция" и тревожность?

Вот вышел новый модный условно бесплатный фреймворк для наблюдения за агентами — Langfuse.
Для меня это скорее MlFlow для агентов. Но есть, где поспрашивать!

На практической конференции по DS будет мастер-класс от ребят из МТС:
«Смотри, как думает агент: Observability AI-агентов с Langfuse»

Я пойду. Люблю задавать каверзные вопросы. Ну, вы в курсе.

Ссылка на саму конференцию: 20 апреля в Москве — AiConf 2026

❗️ Промокод на скидку 15%: 2026

Разработчики искусственного интеллекта Anthropic забыли удалить файлы с исходным кодом Claude Code из публичного доступа. Пользователи успели выложить код на GitHub: в репозитории 512 тысяч строк кода и 40 инструментов для работы с файлами, создания субагентов и «рассуждений».

Исследователь в области безопасности Чаофань Шоу обнаружил, что команда Anthropic оставила в последнем пакете для отладки проекта ссылки на оригинальный код — по ним любой желающий мог восстановить исходник. @banksta

Тут один исследователь пишет в X, мол, навайбкодил себе за месяц простенький фаззер для поиска уязвимостей и запустил его на неделю, используя подписку Claude Max за 200 долларов (это не тот Max, этот хороший). В результате 21 уязвимость уровня high и critical в Chrome. И вроде прям хороший пример изменений, которые несет с собой ИИ и вайбкодинг на его основе. Но есть, как говорится, нюансы. В реверс-инженеры подались все, кому не лень, и стали слать на платформы bug bounty отчеты пачками, усложняя их классификацию и разбор (триаж).

Одной из первых возмутилась Bugcrowd, которая пишет, что столкнулась с резким ростом низкокачественных, неподтвержденных отчетов, которые генерируются или при помощи ИИ, или полностью автоматизированными конвейерами. Компания называет это "sloptimism": когда исследователь или агент присылает спекулятивный баг-репорт с шаблонным описанием, слабой доказательной базой и без нормальной ручной проверки. По данным Bugcrowd, только за последние несколько недель очереди на triage выросли более чем на 334%, если даже не учитывать обычные легитимные отчеты из традиционного багбаунти-процесса.

Компания выделяет три основных источника проблемы. Первый – организации, которые, по версии Bugcrowd, фактически используют живые программы Bug Bounty и сам triage как обучающую среду для своих ИИ-систем. Второй – начинающие исследователи, которые запускают LLM или агентов, но не умеют валидировать результат. Третий – автоматические конвейеры массовой подачи репортов, где отчеты отличаются друг от друга лишь минимально.

В ответ Bugcrowd вводит более жесткие меры. За так называемый submission farming обещают перманентный бан, а восстановление возможно только через апелляцию и подтверждение личности. Аккаунты с 10 и более подряд невалидными отчетами будут проверяться; если будет видно, что это ИИ/автоматизация без нормальной валидации, возможна 30-дневная блокировка. Кроме того, аккаунты с 10 и более невалидными отчетами должны будут пройти проверку личности, прежде чем снова отправлять находки. Отдельно платформа запрещает автоматизированное "застолбление" типовых уязвимостей при запуске программ без демонстрации реального ущерба/воздействия.

Axios в догонку пишет, что мейнтейнеры open-source проектов буквально захлебываются в потоке ИИ-сгенерированных сообщений о якобы найденных уязвимостях. Раньше популярный open-source проект получал в среднем 2–3 баг-отчета в неделю, а менее популярный – примерно один в месяц. Теперь некоторые проекты получают сотни отчетов за раз, и на разбор каждого могут уходить от 2 до 8 часов неоплачиваемого времени мейнтейнера. Axios связывает всплеск с появлением автономных агентов вроде OpenClaw, которые позволяют почти любому автоматизировать поиск потенциальных багов и отправку отчетов. Проблема в том, что многие отправители уже не способны ответить на уточняющие вопросы по найденной "уязвимости", что косвенно указывает, за них работал ИИ, а не человек, понимающий суть проблемы. Linux Foundation тоже жалуется на вал ИИ-сгенерированных сообщений, и именно поэтому Google, Anthropic, AWS, Microsoft и OpenAI участвуют в финансировании инициативы на $12,5 млн для усиления безопасности open source.

Наконец, Google меняет правила своей программы вознаграждений за баги в open source. Для некоторых категорий отчетов теперь будут требовать более качественные доказательства, например воспроизводимость через OSS-Fuzz или уже подготовленный/влитый патч. Идея простая: triage-команды должны тратить время на реальные уязвимости, а не на шум от LLM-генераторов.

В отчете по деятельности Standoff Bug Bounty тема ИИ-слопа не рассмотрена; видимо, пока не стала еще проблемой. Но, думаю, в этом году ситуация изменится. 🟥 так активно продвигает тему обучения реверсеров, что странно будет, если первые шаги они не начнут делать с облегчения своего труда. Кто-то пойдет дальше и станет реально хорошим исследователем, а кто-то так и будет сгенерированные ИИ отчеты слать.

#ии #bugbounty #оценказащищенности

🚨 Обнаружено, что релиз LiteLLM на PyPI версии 1.82.8 содержит вредоносный код.

Стандартная команда `pip install litellm` могла привести к утечке:
SSH-ключей, учётных данных AWS/GCP/Azure, Kubernetes-конфигов, git-доступов, всех API-ключей из переменных окружения, истории команд, SSL-ключей, CI/CD-секретов и паролей к базам данных.

И это не нишевая библиотека, у LiteLLM около 97 млн скачиваний в месяц.

Даже без прямой установки litellm вредоносный код мог попасть к пользователям через другие пакеты (например, `dspy`).

Скомпрометированную версию пакета обнаружили случайно: при установке пакета у разработчика произошёл сбой из-за утечки памяти.

Без этого сбоя атака могла оставаться незамеченной долгое время .

Supply chain атаки становятся одним из самых серьёзных рисков в современной разработке.

Подход «использовать как можно больше готовых библиотек» требует некоторого переосмысления.

Andrej Karpathy: https://x.com/karpathy/status/2036488892443140551

1. Первичный разбор (issue на GitHub): https://github.com/BerriAI/litellm/issues/24512
- подробное техническое описание вредоносного кода: что именно крадёт и как работает

2. Официальный issue от BerriAI: https://github.com/BerriAI/litellm/issues/24518
— реакция команды и обновления по ситуации

3. Блог FutureSearch (обнаружили атаку): https://futuresearch.ai/blog/litellm-pypi-supply-chain-attack/
• как баг с fork bomb в вредоносном коде уронил машину и помог выявить атаку

4. Полный таймлайн TeamPCP от ramimac: https://ramimac.me/teampcp/
— вся цепочка атаки: Trivy → Checkmarx → litellm, с точными временными метками и IOC

5. Тред на Hacker News (основной): https://news.ycombinator.com/item?id=47501729
- обсуждение в реальном времени, включая ответы от Krrish (maintainer litellm)

6. Разбор от GitGuardian:
https://blog.gitguardian.com/trivys-march-supply-chain-attack-shows-where-secret-exposure-hurts-most/
- анализ того, как утечка CI/CD-секретов запустила всю цепочку атаки

@ai_machinelearning_big_data

#llm #ml #cybersecurity

TeachSecure-CTI: адаптивная разработка учебных программ по кибербезопасности с использованием динамики угроз и искусственного интеллекта

https://www.sciencedirect.com/org/science/article/pii/S1546221826001189

Книга выпущена в 2026 году, рекламируется, как исчерпывающее руководство.

Видимо, по продуктам Амазон)

Как делать рекламу для умных?

Выпускаешь, типа техническую книгу. А на самом деле рекламную брошюру на 700 страниц.

А вместе с ней:

Гики-супергерои

Эксперты по всем вопросам

Рыболовы

Вайбкодеры

Дата сатанисты

Кибербезопасники

Инженеры «чистого листа»

Серверные шаманы

Теоретики от математики

Визуализаторы-импрессионисты

Джентельмены удачи в продакшене

Энтузиасты MVP