AI Attacks

#LLMSEC

Раскопали новый вектор атак через новый протокол :) Речь идёт об Model Context Protocol (MCP) - механизме подключения LLM к внешним системам. Выяснилось, что злоумышленники могут создавать вредоносные MCP-серверы, контролирующие хост-машины и манипулирующие поведением модели. Это открывает путь к несанкционированному доступу и подмене данных в цепочке доверия.

https://www.helpnetsecurity.com/2025/10/16/research-mcp-server-attacks/

#моикомментарии

Как VirusTotal вписывается в комплексную стратегию защиты от угроз, и какие тренды развития подобных сервисов вы видите в 2025 году?

»»»Появление ML-оценок от отдельных антивирусов в VirusTotal, таких как Trapmine, отражает общий тренд на интеграцию машинного обучения в анализ угроз. Данный метод особенно часто дает срабатывания на уникальные файлы, например, программы локальной разработки или скрипты для автоматизации. Низкий уровень детекта таким файлам присваивается из-за подозрительных характеристик, встречающихся и в вредоносах, например, сетевых вызовов или использования шифрования. Если файл помечен как подозрительный всего одним-двумя движками на основе ML, а традиционные антивирусы его игнорируют, то вероятнее всего это ложное срабатывание. Высокую уверенность в вредоносности файла дает именно совокупность вердиктов, где ML-оценки дополняются детектами от сигнатурных и поведенческих анализаторов. Со временем можно ожидать, что практически каждый антивирусный движок в VirusTotal будет включать собственную ML-оценку в общий отчет. Это создаст более полную и многослойную систему оценки рисков для каждого файла. В результате аналитики безопасности получат больше контекста для принятия решений, особенно в случае неизвестных угроз. Однако возрастет и важность правильной интерпретации результатов, чтобы отличать реальные угрозы от ложноположительных срабатываний на легитимное ПО.
Здесь можно посмотреть почему это происходит: https://trojan-killer.net/trapmine-suspicious-low-ml-score-guide

#пишудляинтернетиздательств

https://habr.com/ru/companies/solarsecurity/articles/954744/

#моикомментарии

https://securitymedia.org/info/neyroseti-dlya-vzloma-kak-iskusstvennyy-intellekt-stal-oruzhiem-khakerov.html

#LLM #malware

Разбор нового ВПО - LLM-enabled malware, которое использует LLM для динамической генерации вредоносного кода во время выполнения: https://gbhackers.com/malterminal-malware/

И самое первое)

Ежемесячный обзор угроз OpenAI:

#LLMSEC

🈁 Anthropic: небольшое количество ⚠️образцов могут заразить 🤖LLM любого размера!

Новое исследование от Anthropic совместно с UK AI Security Institute, University of Oxford, ETH Zurich и Alan Turing Institute демонстрирует, что для внедрения бэкдора в большие языковые модели достаточно всего 📄 250 вредоносных документов.

Новая работа ломает привычные представления о масштабируемости атак отравления данных. Прежняя гипотеза заключалась в том, что атакующему необходимо контролировать фиксированный процент обучающего корпуса. Однако для крупных моделей это означало бы сотни миллионов вредоносных документов, что считалось нереалистичным. Новое исследование показывает обратное: достаточно небольшого и почти постоянного числа отравленных документов для компрометации даже крупнейших моделей.

🤖Эксперименты на моделях от 600M до 13B параметров показали, что 250 вредоносных документов способны внедрить бэкдор независимо от объёма обучающего набора, даже если для крупнейшей модели доля таких данных составляет всего 0.00016%.

Результаты подтвердились не только на этапе предобучения, но и при fine-tuning, включая эксперименты с Llama-3.1-8B и GPT-3.5-turbo. Вредоносные триггеры могут вызывать как отказ модели (DoS-поведение), так и смену языка или подчинение вредным инструкциям.

Вопреки прежним убеждениям, масштабирование моделей не усложняет, а потенциально упрощает реализацию подобных атак с отравлением данных.

🤔👆Хотя текущие результаты ограничены узким типом бэкдора, они уже сейчас указывают на острую необходимость разработки новых защитных механизмов, способных работать в масштабе и противостоять атакам с постоянным числом отравленных образцов. Публикация исследования служит превентивной мерой, мотивируя специалистов по безопасности к созданию проактивных стратегий защиты.

*Meta (соцсети Facebook, Instagram) запрещена в РФ как экстремистская.

✋ @Russian_OSINT

#LLM

В статье, опубликованной FireTail.ai, описывается уязвимость под названием ASCII Smuggling — метод скрытого внедрения инструкций в текст с помощью невидимых Unicode-символов (в частности, так называемых tag characters). Эта техника позволяет злоумышленнику обойти визуальный контроль человека, поскольку такие символы не отображаются в пользовательском интерфейсе, но при этом обрабатываются языковыми моделями (LLM), что приводит к выполнению скрытых команд.

Исследователь FireTail Виктор Маркопулос провёл тестирование ряда крупных LLM (включая Gemini, Grok, DeepSeek, ChatGPT, Copilot и Claude) и выявил, что Gemini, Grok и DeepSeek уязвимы к данной атаке, тогда как другие модели (например, ChatGPT и Claude) корректно фильтруют или нормализуют входные данные.

https://www.firetail.ai/blog/ghosts-in-the-machine-ascii-smuggling-across-various-llms

OpenAI продолжает подсаживать на себя пользователей и собирать данные)

В ChatGPT появилась полная интеграция с приложениями на ПК и смартфоне: чат-бот работает с ними с учетом истории диалога.

Бота в любой момент можно будет отправить дизайнить макеты в Figma, добавлять треки в ваш плейлист или искать квартиру в городе, о котором вы только что говорили. Все в одном диалоге.

Наконец чат-бот превратится в полноценного ассистента.