ML&|Sec Feed

ФСТЭК выложила проект методического документа по мероприятиям и мерам защиты информации в ГИС, ОКИИ, ИСПДн и АСУ ТП. 200 страниц без малого. Сейчас идет активная работа над ним. Поэтому не надо рассматривать его как финальный вариант, но как направление в эту сторону.

#регулирование

#MLSecOps
#Infosec_Standards
NIST AI 800-2 (IPD):
"Practices for Automated Benchmark Evaluations of Language Models", Jan. 2026.

// This document identifies practices for conducting automated benchmark evaluations of language models and similar general-purpose AI models that output text. Evaluations of these models, often embedded into systems capable of functioning as chatbots and AI agents, are increasingly common. However, consistent practices to support the validity and reproducibility of such evaluations are only beginning to emerge. The practices presented in this document are intended to reflect best practices; where relevant, practices that are relatively less mature in ecosystem use are labeled as emerging practice

#tools
#hardening
#MLSecOps
Detecting and Monitoring OpenClaw (clawdbot, moltbot)
1⃣ OpenClaw Detection Scripts
// Detection scripts for MDM deployment to identify OpenClaw installations on managed devices
2⃣ OpenClaw Telemetry Plugin
// Captures tool calls, LLM usage, agent lifecycle, and message events
3⃣ Advanced Cognitive Inoculation Prompt (ACIP)
// Fortifying LLMs against sophisticated prompt injection attacks

Комплексная защита ИИ в Сбертехе

Международный отчет по безопасности ИИ

Под председательством Йошуа Бенджио издан второй отчет о безопасности ИИ. Среди ревьюеров можно найти Рассела, Хинтона и других хорошо известных ученых.
Основные выводы:

- Возможности ИИ общего назначения продолжают улучшаться, особенно в математике, программировании и автономной работе. Ведущие системы ИИ достигли высоких результатов в решении задач Международной математической олимпиады. В программировании агенты ИИ теперь могут надежно выполнять некоторые задачи, на которые у человека-программиста ушло бы около получаса, по сравнению с менее чем 10 минутами год назад. Тем не менее, производительность остается «неравномерной», и ведущие системы по-прежнему не справляются с некоторыми, казалось бы, простыми задачами.

- Улучшения в возможностях ИИ общего назначения все чаще достигаются за счет методов, применяемых после первоначального обучения модели. Эти методы «постобучения» включают в себя уточнение моделей для конкретных задач и предоставление им возможности использовать больше вычислительной мощности при генерации результатов. В то же время использование большей вычислительной мощности для первоначального обучения продолжает также улучшать возможности модели.

- Внедрение ИИ происходило быстро, хотя и крайне неравномерно по регионам. ИИ внедрялся быстрее, чем предыдущие технологии, такие как персональные компьютеры, и по меньшей мере 700 миллионов людей сейчас еженедельно используют ведущие системы ИИ. В некоторых странах более 50% населения использует ИИ, хотя в большей части Африки, Азии и Латинской Америки уровень внедрения, вероятно, остается ниже 10%.

- Развитие научных возможностей ИИ усилило опасения по поводу его неправомерного использования в разработке биологического оружия. Несколько компаний, занимающихся ИИ, решили выпустить новые модели в 2025 году с дополнительными мерами безопасности после того, как предварительные испытания не смогли исключить возможность того, что они могут существенно помочь новичкам в разработке такого оружия.

- Появилось больше свидетельств использования систем ИИ в реальных кибератаках. Анализы безопасности, проведенные компаниями, занимающимися ИИ, указывают на то, что злоумышленники и связанные с государством группы используют инструменты ИИ для содействия в кибероперациях.

- Проведение надежных предварительных испытаний на безопасность стало сложнее. Модели стали чаще различать условия тестирования и реальное развертывание, и использовать лазейки в оценках. Это означает, что опасные возможности могут остаться необнаруженными до развертывания.

- Обязательства отрасли по управлению безопасностью расширились. В 2025 году 12 компаний опубликовали или обновили «Рамочные стандарты безопасности ИИ на передовом уровне» — документы, описывающие, как они планируют управлять рисками по мере создания более совершенных моделей. Большинство инициатив по управлению рисками остаются добровольными, но в некоторых юрисдикциях начинают формализовать некоторые практики в качестве юридических требований.

Потратил $5 000 на AI-агентов для пентеста. Какие результаты получил?

Всем привет! На связи Сергей Зыбнев. Я 5 лет в ИБ, веду телеграм-канал Похек, работаю тимлидом пентестеров в «Бастион», специализируюсь на веб-пентесте.

🤖 В последнее время я увлёкся AI/ML/LLM R&D и за 1,5 года потратил больше $5 000 из своего кармана на эксперименты с AI-агентами для пентеста. 

В карточках рассказал, какие инструменты испытал.

Подробнее про каждый из них, результаты и мои выводы об AI для пентеста — в свежей статье для CyberED.

👉 Читать статью 👈
___
Больше об экспериментах с AI пишу в телеграмм-канале Похек AI – подпишитесь 🙃

#MLSecOps
"Llama-3.1-FoundationAI-SecurityLLM-Reasoning-8B Technical Report", Jan 2026.

]-> Foundation-Sec-8B-Reasoning, the first open-source native reasoning model for cybersecurity

#MLSecOps
"FNF: Functional Network Fingerprint for Large Language Models", Feb. 2026.
]-> Repo

// In this work, we propose the Functional Network Fingerprint (FNF), a training-free, sample-efficient method for detecting whether a suspect LLM is derived from a victim model, based on the consistency between their functional network activity

#AIOps
#Tech_book
"Agentic Design Patterns: A Hands-On Guide to Building Intelligent Systems", Oct. 2025.

// A comprehensive guide presenting 21 design patterns for building AI agents, using frameworks like LangChain, Crew AI, and Google ADK to create autonomous intelligent systems

NeuTTS — это набор речевых языковых моделей TTS с открытым исходным кодом, которые работают на устройстве и мгновенно клонируют голос.

NeuTTS, созданный на основе LLM, обеспечивает естественное звучание речи, работу в режиме реального времени, встроенную систему безопасности и клонирование голоса на вашем локальном устройстве.

Это открывает доступ к новой категории встроенных голосовых агентов, помощников, игрушек и приложений, соответствующих нормативным требованиям.

🐱 GitHub

Secure AI ISO standard

https://www.iso.org/standard/56581.html

регуляторика в РФ по безопасности ии (ссылки для статьи)

1. https://fstec.ru/dokumenty/vse-dokumenty/spetsialnye-normativnye-dokumenty/trebovaniya-utverzhdeny-prikazom-fstek-rossii-ot-11-aprelya-2025-g-n-117
2. https://bdu.fstec.ru/threat/ai
3. https://fstec.ru/en/dokumenty/vse-dokumenty/informatsionnye-i-analiticheskie-materialy/informatsionnoe-soobshchenie-fstek-rossii-ot-4-dekabrya-2025-g-n-240-22-6902
4. ГОСТы: https://t.me/borismlsec/153

Как я взял золото на ERC3 ☕

Это самый полезный пост на канале.

Детальный 30-минутный ролик про ERC3, который проходил в декабре 2025 на платформе Рината @llm_under_hood

📹 https://youtu.be/gTKB9dDicNA

Вышло здорово, слова отлично ложились друг к другу, рассказ получился живой и интересный.

Покрыты все детали:
- про великолепную платформу
- про задачи для AI-агента
- про сложность челленджа
- про первые шаги и основу ReAct агента
- про то, как нащупал подход с эволюцией
- про устройство цикла эволюции
- про то, как эволюция вытащила тестовые бенчмарки
- про то, как эволюция кардинально видоизменила промт
- про сам день соревнования и приключения на нем
- про стрим у Валеры с Ильей (2-е место)
- про то, на чем эволюция сломалась и путь к 100% score
- кейс Айгиза про перевод онлайн перевод YouTube
- кейс Рината про тюнинг движков формул Excel
- кейс long-running agents от cursor
- про общие черты этих кейсов
- про новый шаг эволюции в разработке ПО?

Под конец доклада было самое важное - про концепцию замкнутого цикла обратной связи в AI системах, которую почти не сговариваясь попробовали разные люди в конце 2025, получив на своих задачах крышесносные результаты.

Верю всей душой, что те команды и люди, которые овладеют этим подходом, улетят в космос по личной продуктивности и скорости развития своих сервисов.

Ссылки, которые упоминаются в докладе:
- код агентов на GitHub
- ERC3 платформа и лидерборд
- стримы от Валеры @neuraldeep по разбору решений: youtube, rutube
- посты в @llm_under_hood про перевод YouTube, кейс с движком Excel формул
- статья Scaling long-running autonomous coding от Cursor

Впереди как раз выходные, рекомендую заварить чаек-кофеек и посмотреть ☕️

Ринат, ждем ERC4🫰🏻

#erc3 #онотогостоило

OpenThreat — делает информацию об угрозах доступной для всех — от специалистов по безопасности до представителей малого бизнеса и некоммерческих организаций.

Мы собираем данные об уязвимостях из надёжных общедоступных источников и предоставляем их в понятном и удобном для использования интерфейсе.

🐱 GitHub

Ночное-полезное: инструмент, позволяющий собирать ML-модели, просто описывая их текстом 👌

Это агентская система, которая берет на себя всю грязную работу: от планирования архитектуры до написания кода и деплоя готового решения.

— Описываешь намерение (например, «предсказать цену дома по площади и локации»), задаешь схему данных — и всё. Схему, кстати, он тоже может выкупить сам из контекста;
— Под капотом работает целая «команда» ИИ-агентов. Один планирует, другой кодит, третий оценивает производительность и фиксит ошибки;
— Если данных мало, встроенный генератор наклепает датасет по твоему описанию для тестов;
— Поддерживает Ray. Если нужно перебрать десятки вариантов моделей параллельно, он раскидает нагрузку по ядрам или кластеру;
— Через LiteLLM подключается к чему угодно — от GPT-5 и Claude 3 до локальных Llama через Ollama.

Пробуем роль ML-архитектора 😏