ML&|Sec Feed

#Analytics
#Research
#MLSecOps
"Trojans in Artificial Intelligence. Final Report",
IARPA, Jan. 2026.

// This report synthesizes the TrojAI program's key findings, including methodologies for detection through weight analysis and trigger inversion, as well as approaches for mitigating Trojan risks in deployed models. Comprehensive test and evaluation results highlight detector performance, sensitivity, and the prevalence of "natural" Trojans. The report concludes with lessons learned and recommendations for advancing AI security research

#AIOps
#Research
"When Benign Inputs Lead to Severe Harms:
Eliciting Unsafe Unintended Behaviors of Computer-Use Agents", Feb. 2026.

]-> AutoElicit Datasets
]-> Code

// The first conceptual and methodological framework for studying unintended behaviors of CUAs: unsafe actions that emerge inadvertently from benign inputs during typical user interactions

OWASP Vendor Evaluation Criteria for AI Red Teaming Providers & Tooling v1.0

https://genai.owasp.org/resource/owasp-vendor-evaluation-criteria-for-ai-red-teaming-providers-tooling-v1-0/

🈁 Джейлбрейк Opus 4.6 от Pliny

Я нашел универсальный метод взлома Opus 4.6, который настолько мощный, что позволяет генерировать целые наборы данных по любой категории вредоносных действий.

У нас есть всё: от синтеза аналогов фентанила до кампаний по дезинформации на выборах, от оружия, напечатанного на 3D-принтере, до 🥷компрометации критической инфраструктуры. 🙃

Эти результаты поразительно подробны и содержат практические рекомендации! Например, рецепт метамфетамина включает в себя конкретные инструкции о том, как обойти ограничения на покупку безрецептурных лекарств, чтобы приобрести достаточное количество прекурсора для рецепта 😱

— делится печальными результатами jailbreak-тестов 💻редтимер Pliny the Liberator.

С безопасностью даже у топовых компаний по-прежнему проблемы. Guardrails не держат оборону должным образом.

👆Примечательно, что на прошлой неделе Axios писали: Opus 4.6 обнаружила более 500 уязвимостей нулевого дня (zero-day).

✋ @Russian_OSINT

#Research
#Threat_Research
#Malware_analysis
"SoK: Exposing the Generation and Detection Gaps in LLM-Generated Phishing Through Examination of Generation Methods, Content Characteristics, and Countermeasures", Nov. 2025.

// This study presents a nine-stage taxonomy detailing how attackers exploit LLMs to generate phishing content while bypassing safety guardrails. Findings indicate that these AI-generated threats effectively evade detection by leveraging human cognitive manipulation, highlighting a critical asymmetry where offensive tactics evolve dynamically compared to reactive, static defenses

⚡️ X-Coder - новый мощный релиз для код-LLM от IIGroup.

Команда выложила полноценный стек для обучения моделей программированию: синтетические датасеты, RL-выравнивание и готовые модели с сильным логическим мышлением.

Что внутри:

— X-Coder-SFT-376k - большой синтетический датасет (376K примеров), сгенерированный с помощью GPT-o3-mini и DeepSeek-R1
— X-Coder-RL-40k - набор для RL-дообучения, сфокусированный на логике, проверке решений и качестве рассуждений
— X-Coder-8B - модели на базе Qwen3 с упором на reasoning и задачи программирования

Главная идея —-полностью синтетическая эволюция данных: масштабирование качества без ручной разметки. Такой подход уже становится стандартом для обучения сильных coding-моделей.

Полезно, если вы:

• обучаете собственные code-LLM
• исследуете synthetic data + RLHF/RLAIF
• работаете с Qwen-экосистемой или агентами для программирования

Модели и датасеты:
https://modelscope.cn/datasets/IIGroup/X-Coder-SFT-376k

https://modelscope.cn/datasets/IIGroup/X-Coder-RL-40k

https://modelscope.cn/models/IIGroup/X-Coder-SFT-Qwen3-8B

#LLM #CodeAI #Qwen3 #DeepSeek #AI #Coding

ИСП РАН может стать ведущим участником единой системы сертификационного аудита для русскоязычных ИИ-моделей

Выбор Института системного программирования им. В.П. Иванникова РАН объясняется технической экспертизой организации. Платформа для сертификации может быть создана в рамках Исследовательского центра доверенного искусственного интеллекта ИСП РАН.

Новая система будет оценивать соответствие нейросетей техническим и нормативно-этическим стандартам. Модели проверят на уязвимости, устойчивость к атакам, на отсутствие манипулятивных алгоритмов.

Аудит затронет все этапы жизненного цикла продукта, в том числе разработку и эксплуатацию. В первую очередь планируется проверить решения для государственного сектора и объектов критической информационной инфраструктуры. Также будет изучаться работа ИИ в высокорисковых сферах, таких как медицина и финансы.

🔗Источник: https://iz.ru/2038342/2026-02-06/isp-ran-mozhet-zaniatsia-sertifikatciei-tekhnologii-iskusstvennogo-intellekta-v-rf

#MLSecOps
"TamperBench: Systematically Stress-Testing LLM Safety Under Fine-Tuning and Tampering", Feb. 2026.

]-> Toolkit to benchmark the tamper-resistance of LLMs

// As increasingly capable open-weight LLMs are deployed, improving their tamper resistance against unsafe modifications, whether accidental or intentional, becomes critical to minimize risks. Varied data sets, metrics, and tampering configurations make it difficult to compare safety, utility, and robustness across different models and defenses. We introduce TamperBench, the first unified framework to systematically evaluate the tamper resistance of LLMs

Promptomatix — это платформа на основе искусственного интеллекта, предназначенная для автоматизации и оптимизации подсказок для больших языковых моделей (LLM).

Она обеспечивает структурированный подход к оптимизации подсказок, гарантируя согласованность, экономическую эффективность и высокое качество результатов, а также сокращая количество проб и ошибок, которые обычно связаны с разработкой подсказок вручную.

🐱 GitHub

Соединенные Штаты и Китай официально воздержались от подписания новой «Совместной декларации об ответственном использовании ИИ в военных целях». Документ, подготовленный по инициативе ряда европейских стран и правозащитных организаций, был призван установить строгие границы для применения полностью автономных летальных систем, требуя обязательного участия человека при принятии решений о применении силы.

И Вашингтон, и Пекин заявили, что жесткие ограничения могут подорвать их национальную безопасность перед лицом быстро меняющихся угроз. Они опасаются, что подписание документа свяжет им руки, в то время как негосударственные акторы или третьи страны продолжат бесконтрольные разработки.

Дипломаты отметили, что в тексте декларации отсутствуют четкие технические критерии того, что считать «значимым человеческим контролем». США настаивают на том, что их существующие внутренние директивы уже обеспечивают этический надзор, и дополнительные международные слои регулирования избыточны.

Эксперты предупреждают, что это решение де-факто легитимизирует новый виток гонки вооружений. Теперь акцент смещается с запрета автономного оружия на создание систем противодействия ему, что, вероятно, приведет к ускоренному внедрению роевых технологий дронов и автоматизированных систем киберзащиты уже к концу 2026 года.

🔒DARPA&CIA

На заметку: Сбер показал технический отчет Green-VLA, посвященный развитию физического искусственного интеллекта. На основе этой модели был как раз построен робот Грин, который на AI Journey в прошедшем ноябре более 10 часов (!) провел, передвигаясь по конференции, общаясь со зрителями и танцуя.

В общем, вполне логично, что материал занял первое место на портале Hugging Face среди всех статей дня.

🚨 Теперь можно запускать 70B LLM на видеокарте с 4GB VRAM

AirLLM буквально выбивает почву из аргумента “для больших моделей нужно дорогое железо”.

Фреймворк позволяет запускать модели размером до 70B параметров даже на GPU с 4GB видеопамяти.

Как это возможно?

Вместо загрузки всей модели в память сразу, AirLLM:

- подгружает модель по слоям
- выполняет вычисления
- освобождает память
- переходит к следующему слою

Фактически, это потоковая обработка модели.

Более того, авторы показывают запуск Llama 3.1 405B на 8GB VRAM.

Что это даёт разработчикам:

- не требуется квантование по умолчанию
- можно запускать Llama, Qwen, Mistral, Mixtral локально
- работает на Linux, Windows и macOS
- не нужен сервер с огромным GPU

Это сдвигает барьер входа для локального LLM-разработки и экспериментов.

AirLLM полностью open source - можно использовать, изучать и встраивать в свои пайплайны.

https://github.com/0xSojalSec/airllm

Киберпанк, который мы заслужили: чел собрал систему VisionClaw, которая превращает очки Ray-Ban с камерой в полноценного ИИ-агента 🤔

Зачем? Чтобы можно было покупать вещи, просто глядя на них 😂

Больше не нужно доставать телефон и тыкать в экран — вы просто гуляете в очках и общаетесь с Gemini Live голосом. Система в реальном времени стримит картинку и звук через вебсокеты, а ИИ через шлюз OpenClaw получает доступ к вашим приложениям, картам и кошелькам.

Как это выглядит на практике:
— Смотрите на кроссовки прохожего и просите Gemini найти их и купить;
— Диктуете сообщения в Telegram, пока руки заняты пакетами из супермаркета;
— Ищете лучший кофе поблизости, а нейронка нашептывает маршрут прямо в ухо;
— Занимаетесь социальным сталкингом: смотрите на людей, а Gemini ищет их профили в соцсетях и пишет сообщения в духе «Привет, классные кроссовки» 😁

Если очков под рукой нет, можно потестить через обычную камеру iPhone.

Аккуратнее с людьми в очках 😏