ML&|Sec Feed

Наткнулся тут на краткий список языковых моделей, который специально обучены для целей ИБ и могут быть запущены целиком локально на не очень требовательном железе:
6️⃣ VulnLLM-R-7B. Заточена под поиск уязвимостей и багхантинг. Обходит на специфичных тестах Claude-3.7-Sonnet & CodeQL. Пишут, что находит даже Zero Day. Запускается на 8-16 ГБ. Называют королем оффенсива.
2️⃣ Foundation-Sec-8B-Reasoning. Эта открытая модель, разработанная Cisco, подходит для общих ИБ-задач, моделирования угроз. симуляции атак и поиска уязвимостей.
3️⃣ CyberSecQwen-4B. Эта, самая легкая модель, ориентирована легковесный CTI, триаж CVE/CWE, быстрый анализ кода.
4️⃣ Meta-SecAlign-8B. Заточена под полный цикл пентеста на базе ИИ-агентов (есть моделька на 70 миллиардов параметров).
5️⃣ Dolphin3-Cyber-8B. Хороша для CTF, blue/red teams, bug bounties.
6️⃣ LVPRP - Local Vulnerability Research Pipeline (на базе нецензурированной Qwen2.5-Coder-14B). Из названия понятно, для чего она.
7️⃣ DeepHat-V1-7B. Модель для пентестеров и редтимеров.

Сразу отвечу на вопрос – сам не тестировал, так как узкоспециализированные модели мне не очень нужны и в целом хватает пока облачных фундаментальных.

#ии #оценказащищенности #пентест

Предохранитель от катастрофических ошибок агентов существует — в сети завирусился инструмент, который не дает ИИ снести проект одной командой 😘

Destructive Command Guard перехватывает и блокирует команды вроде rm -rf ещё до запуска, а затем предлагает более безопасный вариант. Внутри 50+ наборов правил безопасности для Git, баз данных и инфраструктуры. Работает на macOS, Linux и Windows, при этом проект бесплатный и опенсорс.

Защищаемся 👍

Потенциально интересные проекты за последнее время. Буду рад, если вы пошарите что-то что вам приглянулось
https://github.com/JustVugg/colibri
https://github.com/iOfficeAI/OfficeCLI
https://github.com/s0ld13rr/pentestcode
https://github.com/tenuo-ai/tenuo
https://github.com/nexu-io/harness-engineering-guide
https://github.com/deepseek-ai/DeepSpec
https://github.com/DietrichGebert/ponytail
https://github.com/MrMoshkovitz/gandalf-llm-pentester
https://github.com/Vasco0x4/AIDA
https://github.com/p-e-w/heretic
https://github.com/avbiswas/text-albumentations
https://github.com/avbiswas/neural-txt

https://github.com/1nn0k3sh4/Alice-AI-Prompt-Jailbreak
https://github.com/1nn0k3sh4/GigaChat-Prompt-Jailbreak

Комьюнити продолжает качать тему вредоносов на базе SLM (малых языковых моделей). В прошлом ноябре я про это писал и вот новая история, уже архитектурная. И если в случае с LOLMIL речь шла о больших языковых моделях, то сейчас многое можно сделать и на SLM. В интересное время живем…

Интересно, что автор схемы пишет, что основное преимущество такого вредоноса – скорость и адаптация, что созвучно отчету ENISA, которая тоже говорит, что ключевое преимущество от ИИ в скорости, а не в точности или полноте. Когда у вас вредонос может постоянно спрашивать модель, адаптируя свое поведение под ответы, это реально снижает и порог входа, и упрощает написание ПО с враждебными намерениями. Ведь вам не надо заранее учитывать кучу всяких нюансов для целевых систем. Фраза: "х*як х*як и в продакшен" заиграла новыми красками...

В правом нижнем углу и про защиту от такого написано. Хорошо, что почти ничего нового там нет - нестареющая классика в форме EDR, мониторинга, патчинга, управления секретами и т.п.

#malware #ии #архитектура

#AIOps
#Tech_book
"Agentic AI in Enterprise: Harnessing Agentic AI for Business Transformation", 2025.

// This book delves into the transformative power of Enterprise Agentic AI, tracing its evolution from basic automation to intelligent agents capable of contextual reasoning, memory retention, and autonomous decision-making

ICML 2026
Отзыв о воркшопе Mechanistic Interpretability

Сам воркшоп был очень сильным. Нашли много хороших работ. Например, о том, как обучили VLA-агента в среде и выявили случаи, когда модель начинает «сходить с ума» (MultiSTEVE-1s). Или о том, что активации модели содержат больше информации для определения важных шагов рассуждения, чем сами токены (Reasoning Models Know What’s Important, and Encode It in Their Activations).

https://t.me/MLunderhood/373

Cloudflare анонсировала слой монетизации для agentic web: AI-агенты смогут платить сайтам прямо на уровне HTTP-запроса через x402 на edge.

Идея в том, что агенты будут не только читать бесплатные страницы или ходить в заранее подключённые API, а смогут оплачивать доступ к данным напрямую.

Сегодня AI-продукты получают внешнюю информацию через контракты, scraping, поисковые партнёрства, платные API или открытые страницы.

Cloudflare хочет превратить такой доступ в обычный платный web request.

Владелец сайта может сказать: «этот датасет стоит $0.01 за запрос», а Cloudflare проверит оплату ещё до того, как запрос дойдёт до сервера.

Сценарий такой:

агент запрашивает ресурс → получает 402 Payment Required → платит → повторяет запрос с подтверждением оплаты → получает ответ.

Главное изменение в том, что платёж становится частью самого web-запроса.

Для обычного пользователя это может означать, что ассистент иногда будет спрашивать разрешение потратить деньги перед выполнением задачи.

Например:

«Этот источник стоит $0.03. Использовать?»

Research-агент может платить за закрытые источники, shopping-агент — за данные о товарах, сравнения, бронирования или private market data.

Но есть условие: всё это заработает только тогда, когда агенты будут иметь кошельки, понимать x402 и соблюдать spending rules.

🧠 28% промышленных компаний подверглись атакам с применением ИИ: новая реальность ИННОПРОМ
 
Пока на выставке ИННОПРОМ-2026 обсуждают взрывной рост производства чипов и оптоволокна, эксперты по кибербезопасности бьют тревогу: цифровая трансформация принесла не только эффективность, но и новые уязвимости. По данным «Лаборатории Касперского», представленным на сессии «Доверять нельзя проверить», в 2025 году 28% промышленных предприятий в мире столкнулись с кибератаками, в которых злоумышленники использовали искусственный интеллект.
 
📊 Кто в зоне риска?
 
 Наиболее уязвимой оказалась обрабатывающая промышленность — именно та отрасль, которая сейчас демонстрирует самый бурный рост на ИННОПРОМ. Здесь с ИИ-атаками столкнулись 36% компаний. На втором месте — дискретное производство (30%), далее следуют строительство (21%) и сельское хозяйство (20%). Для сравнения: в энергетике и транспорте этот показатель ниже (17–18%), что может быть связано с более жесткими регуляторными требованиями к защите критической инфраструктуры.
 
3️⃣ новых угрозы промышленного ИИ
 
Эксперты выделяют риски, специфичные именно для внедрения нейросетей в производство:
➡️ Атаки на цепочку ИИ-поставок. Злоумышленники научились внедрять вредоносный код прямо в LLM-модели или агентные навыки. Вместо взлома сервера достаточно подменить файл модели или добавить скрытую инструкцию в описание действий агента.
➡️ Излишняя автономность агентов. Чем больше полномочий у ИИ-агента, тем выше риск. Одна вредоносная инструкция в соцсети может заставить агента выполнить произвольный код, перевести криптовалюту или слить конфиденциальные данные.
➡️ «Теневой ИИ». Сотрудники используют запрещенные нейросети для рабочих задач без контроля ИБ-служб. Это создает неконтролируемые точки входа: работник может случайно загрузить вредоносную нагрузку или дать агенту избыточные права доступа.
 
💡 Что это значит для отрасли?
 
Кибербезопасность перестала быть просто «защитой периметра». Теперь это вопрос выживания производственных линий. Более трети (36%) промышленных предприятий уже включили ИИ-атаки в топ-5 самых значимых угроз — наряду с атаками на цепочки поставок и деятельностью APT-группировок. В обрабатывающей промышленности эта доля достигает 45%.
Как отмечают эксперты, ответом на эти вызовы становится не отказ от технологий, а внедрение защитных решений на базе того же ИИ. Но пока баланс между скоростью цифровой трансформации и уровнем защиты остается хрупким.
 
Консорциум робототехники и «МИР Робототехники» — отраслевые медиапартнеры мероприятия

#Робототехника #ИИ #Роботизация #Автоматизация #Данные #ЦОД #ЦифровойСуверенитет #ИННОПРОМ

«Группа Астра» выпустила агента «Астра ИИ [Код]» для разработки ПО в закрытом контуре

«Группа Астра» вывела на рынок решение из собственной экосистемы — агента «Астра ИИ [Код]». Его клиентская часть развернута на рабочем месте, а серверная (модели и контур безопасности) в закрытом контуре или защищенном облаке.

Инженер через терминал на естественном языке формулирует задачу, после чего агент анализирует кодовую базу, находит уязвимости, запускает тесты или планирует архитектуру новых функций.

«Астра ИИ [Код]» создан для объектов КИИ, финансового сектора, госорганов и разработчиков софта. При этом выделяется пять сценария применения. Первый – автоматизация многошаговых задач, второй – аудит больших унаследованных кодовых баз при подключении новых команд к проекту.

Третий сценарий предполагает генерацию тестов, документации, комментариев и обновление зависимостей, четвертый — исправление недочетов и оптимизацию производительности, а пятый — создание новых агентов на естественном языке.

🔗 Источник: https://astra.ru/about/press-center/news/gruppa-astra-vypuskaet-ii-agent-dlya-razrabotki-po-v-zakrytom-konture-kii/

***
📎 В июле «Группа Астра» представила платформу «Боцман AI» для запуска ИИ-моделей внутри защищенного контура компании.

Pillar Security выпустили обновленную версию своего фреймворка SAIL, разработанного для обеспечения безопасности ИИ-систем на всех этапах их жизненного цикла.

Для практического использования фреймворка SAIL авторы поделились также скиллом для ИИ-агентов, с помощью которого можно:
➡️Провести оценку по фреймворку, например, своих ИИ-агентов, чтобы выявить присущие риски (сформировать модель угроз).
➡️Сформировать план повышения уровня безопасности вашего проекта.
➡️Проверить на соответствие комплаинс-требованиям (например, ISO 42001).
➡️Сформировать опросник для оценки безопасности сторонних ИИ-решений.

p.s. Скилл совместим с Claude Code, Codex, ChatGPT, Antigravity и другими skill.md-совместимыми агентами.

#ai #framework #risk #sail #lifecycle #skill

Ночное-полезное: нашел репу, которая поможет с нуля собрать своего ИИ-агента ☺️

Внутри шаг за шагом за ручку проводят по сборке полноценного ИИ-ассистента для arXiv. Он сам будет забирать научные статьи, парсить PDF, искать и отвечать на вопросы.

За 7 недель по итогу проходите весь путь от базы и построения инфраструктуры с Docker и FastAPI до агентного RAG и даже создания бота в Telegram.

Решаем на выходных 😒

Sci-bot

Еще в бытийность свою исследователем, я довольно активно пользовался sci-hub. Sci-hub это такая платформа, на которй Саша Элбакян раздает доступ к научному знания (зачастую спрятанному за paywall).

Недавно, она сделал из этой платформы ИИ-агента и это очень круто! Это как deep research - но только по научным статьям (к которым у других агентов доступа в основном нет). Оплата за токены - платить криптой. Мне 2$ хватило на довольно глубокий анализ Лунной миссии Appolo 17.

Пока все нравится, не хватает только api (но Codex вполне себе справился пользоваться сайтом через Chrome).

Попробовать можно тут: sci-bot.ru

Детекция отравления данных
https://github.com/SeldonIO/alibi-detect

🗞️ В статье Google DeepMind “Intelligent AI Delegation” есть хороший разбор того, как правильно отдавать задачи AI.

Речь не о том, чтобы просто написать модели «сделай это» и надеяться на удачу.

Авторы предлагают смотреть на делегирование как на цепочку решений:

стоит ли вообще отдавать задачу AI, как её объяснить, какой уровень полномочий дать и как потом проверить результат.

Сейчас многие системы держатся на жёстких правилах, которые ломаются при неожиданных сбоях. Исследователи предлагают более гибкий подход: динамический рынок, где агенты могут «торговаться» за задачи через smart contracts.

Чтобы это работало безопасно, нужны строгий мониторинг и криптографические доказательства: система должна подтверждать корректность работы, не раскрывая приватные данные.

Вместо простых рейтингов агенты смогут использовать проверяемые цифровые сертификаты, которые показывают их реальные навыки.


Делегирование должно быть живым процессом- полномочия и ответственность могут меняться по ходу работы. Если ситуация изменилась или агент ошибся, система должна не разваливаться, а уметь передать задачу дальше, откатиться или включить запасной сценарий.

Отдельно важна тема доверия.

Фреймворк оценивает сложность задачи и прошлые результаты агента. Это помогает избежать двух ошибок:

* over-delegating - когда AI дают задачу, к которой он ещё не готов
* under-delegating, когда человек делает всё сам, хотя AI мог спокойно справиться

Результат тоже нельзя принимать на веру.

Система должна проверять ответ, учитывать уверенность агента и заранее иметь план, если он ошибётся. Для реальных рабочих процессов это критично: одна слепо принятая ошибка может потянуть за собой цепочку проблем.

Авторы также разбирают сценарий, где один AI-агент передаёт задачу другому. В таком случае система должна отслеживать, кто отвечает за результат, какие полномочия переданы и где находится контроль.

arxiv.org/abs/2602.11865

ROI и ИБ

Выкладываю презентацию про то, как деньги, вложенные в ИБ, возвращаются обратно.

В докладе:
1. Почему бизнес не понимает ИБ
2. Математике ROI & ROSI
3. Что считать в деньги
4. Реальные цифры по касперу
5. Бюджетный питч
6. Пример расчета при замене WAF

#business

👴 BESSEC | 🔴 MAX