ML&|Sec Feed

❤️ Подборка лучших каналов для лучших

Спасибо всем, кто поделился ими. Вы крутые!

Мы собрали ваши ссылки, и получилась папка с полезным контентом, который всегда будет под рукой. В ней 68 каналов и более 140 000 подписчиков! Это суперпространство для находок 😎

Сохраняйте, отправляйте другу и ищите вдохновение! Здесь его точно много 🤩

Кого случайно пропустили — пишите в комментарии, и мы дополним список.

Увеличиваем шансы на поиск крита и создаем сильное комьюнити 💵

Top Agentic AI Security Threats in 2026

https://stellarcyber.ai/learn/agentic-ai-securiry-threats/

Agentset — это платформа с открытым исходным кодом для создания, оценки и выпуска готовых к использованию RAG- и агентных приложений.

Она предоставляет комплексные инструменты: прием данных, векторное индексирование, оценку/тестирование, чат-платформу, хостинг и удобный для разработчиков API.

🐱 GitHub

7 февраля пройдет T-Sync Conf — классная и правда необычная конференция. Здесь можно будет лично познакомиться с ребятами, которые делают разные продукты в T, и заглянуть на стенд LLM Platform, где вас ждет много интересного (на картинке, кстати, структура наших продуктов) 👀

Что можно будет сделать на стенде:
🟣узнать у техлида платформы Паши, как устроены интеграции между продуктами
🟣расспросить продакт-лида платформы Лешу про подходы к этапам разработки
🟣обсудить с продактом RAG-платформы Пашей SOTA подходы в RAG
🟣наконец, разобраться, что такое MCP, и узнать у продакта ARP Дениса, а как наши юзеры их применяют
🟣и поболтать со мной о том, как сейчас строят Observability вокруг AI-продуктов, и как это делаем мы, и что происходит в треке LLM Security

Почему конференция необычная? Потому что никаких классических докладов. Только стенды, только демо и только живое общение

Кроме стенда LLM-Platform будет еще много всего интересного, а также возможность поучаствовать в хакатоне

Так что регистрируйтесь, и увидимся с вами 7 февраля в 11 💅

Для любителей математики, теории игр и стратегии в ИБ подоспело исследование "Cybersecurity AI: A Game-Theoretic AI for Guiding Attack and Defense" ✍️, авторы которого пытаются ответить на болезненный вопрос – почему ИИ в кибербезопасности умеет выполнять тысячи действий в час (сканируют, находят уязвимости, разбирают логи, строят гипотезы и т.п.), но все еще часто действует "в лоб", без стратегии, блуждая по пространству действий, тратя время и токены, действуя нестабильно и непоследовательно, плохо понимая, какие шаги реально стратегически важны? И можно ли это исправить? 🤔

Исследование предлагает конкретный ответ – добавить к LLM не новые знания об атаках и уязвимостях, а слой стратегического мышления на основе теории игр и равновесий Нэша ⚖️ В центре – механизм Generative Cut-The-Rope (G-CTR):
6️⃣ LLM анализирует логи по результатам пентеста и строит граф атак.
2️⃣ Поверх этого графа считается игра "атакующий–защитник".
3️⃣ Вычисляется равновесие Нэша:
🌟 какие пути атакующему выгодны,
🌟 где защита наиболее эффективна,
🌟 где "бутылочные горлышки".
4️⃣ Результат сжимается в короткий дайджест, этакую мини-стратегию.
5️⃣ Этот дайджест возвращается в виде промпта LLM-агента, который начинает направлять его действия 📇

Исследование закрывает сразу несколько существовавших пробелов: 🤖
➡️ ИИ-пентесты умеют работать быстро, но генерируют хаотичные логи.
➡️ Теория игр (CTR-модель) умеет считать оптимальные стратегии, но требует вручную построенных графов атак.
➡️ Здесь впервые:
🌟 графы атак генерируются автоматически из логов,
🌟 на них считаются равновесия Нэша,
🌟 и результаты используются в реальном времени для управления агентом 🤖

Из полученных результатов получается, что скорость работы в 60–245 раз быстрее 🔜, чем вручную, а стоимость более чем в 140 раз ниже, чем экспертная разметка логов. Обычная LLM, выполнявшая поставленную задачу, имела эффективность на уровне 20%, а согласно предложенному подходу – уже 42,9%. Стоимость успешной "атаки" снижена в 2,7 раза, вариативность поведения агента снижена в 5,2 раза ↗️

Такой эффект достигается за счет того, что:
💡 уменьшается неопределенность,
💡 резко сокращается пространство возможностей LLM,
💡 подавляются галлюцинации,
💡 агент "держится" ближе к реально важным узлам и ключевым системам в процессе атаки 😂

Важно помнить, что равновесие Нэша – это все-таки математическая модель, в которой предполагается, что "игроки" действуют рационально (где вы видели рациональных ИБшников?), обладают полной информацией о возможностях других (наличие Zero Day не укладывается в схему), делают "лучший" выбор (ага, щаз) 😔 В реальности (и особенно в кибербезопасности) эти условия почти никогда не выполняются. Но улучшить эффективность работы тех же BAS с помощью описанного метода можно. Надо парням в PT Dephaze отправить ссылку 🤔

#ии #наука #математика

Из серии "Не забыть"...
🧠 Европейский стандарт по безопасности ИИ "Securing Artificial Intelligence (SAI); Baseline Cyber Security Requirements for AI Models and Systems" от ETSI описывает 13 принципов безопасности ИИ на 5 стадиях жизненного цикла - от проектирования и разработки систем с ИИ до внедрения, поддержки и вывода из эксплуатации. Оооочень высокоуровневый стандарт, описывающий, ЧТО надо делать.
🧠 Более детальное, на 300+ страниц, руководство по защите ИИ от OWASP (проект AI Exchange). Выделенная в отдельный домен, это точка входа в тему, начиная от моделей угроз для разных типов ИИ-систем и заканчивая темой культурологических и религиозных ограничений и нюансов применения ИИ. В отличие от стандарта ETSI также содержит два выделенных блока рекомендаций "КАК делать" применительно к тестированию защищенности ИИ-решений и вопросам приватности при использовании ИИ.

#ии #bestpractice

AI-агенты и мультиагентные системы, MCP и A2A. Основные угрозы и подходы к обеспечению безопасности

Борис Захир, независимый эксперт и автор канала "Борис_ь с ml", описал основы функционирования AI-агентов и мультиагентных систем (МАС), а также рассмотрел угрозы безопасности и меры противодействия им.

➡️ Читать статью на Хабре

Вы узнаете:
*️⃣определения AI-агентов и МАС
*️⃣устройство агентов с точки зрения MCP и A2A
*️⃣основные угрозы для AI-агентов на основе MCP и A2A
*️⃣что делать в первую очередь для обеспечения безопасности таких AI-агентов

#опытэкспертов

#Research
#MLSecOps
"A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5", 2026.
]-> Repo

// This report presents a comprehensive safety evaluation of the latest foundation models released in 2026, including GPT-5.2, Gemini 3 Pro, and others. We analyze safety alignment across text, vision-language, and text-to-image modalities, highlighting vulnerabilities in current safeguards against adversarial attacks and regulation compliance

Новая Методика ФСТЭК: как теперь проводить анализ уязвимостей и кого это касается

С 25 ноября 2025 года анализ защищенности ключевых информационных систем в России проводится по новой, утвержденной ФСТЭК России, Методике. Это обязательный порядок работ для госорганов, ОПК, КИИ и операторов персональных данных.

В статье эксперты «Национального аттестационного центра» (НАЦ) подробно разбирают, какие системы попадают под действие, из каких этапов состоит процесс и с помощью каких средств проводится процесс сканирования. Рассмотрены нюансы практического применения Методики.

Один клик — и Copilot сливает данные: как работает атака Reprompt

Исследователи по информационной безопасности обнаружили новый метод атаки на Microsoft Copilot, получивший название Reprompt. Уязвимость позволяла злоумышленникам получить доступ к пользовательской сессии ИИ-помощника и незаметно выкачивать конфиденциальные данные — всего после одного клика по ссылке.

🔥 AM Live