ML&|Sec Feed

xiangxin-guardrails - https://github.com/xiangxinai/xiangxin-guardrails/blob/main/README_EN.md An open-source and free enterprise-level AI security protection platform that supports both API and security gateway modes. It provides dual protection via prompt word attack detection and content compliance detection. Based on advanced large language models, it has context-aware capabilities and supports fully private deployment.

https://github.com/xiangxinai/xiangxin-guardrails - www.xiangxinai.cn

И еще один постер от SANS – про то, как стать лучшим пентестером 🤕

#sans #пентест #оценказащищенности

LLMs in the SOC: An Empirical Study of Human-AI Collaboration in Security Operations Centres
https://arxiv.org/html/2508.18947v1

Исследование представляет собой первый всесторонний эмпирический анализ того, как аналитики SOC взаимодействуют с LLM в своих повседневных рабочих процессах. Изучив 3090 реальных запросов аналитиков, отправленных GPT-4 в течение 10 месяцев в eSentire Inc., исследователи из CSIRO's Data61 и eSentire предоставили беспрецедентные данные о моделях сотрудничества человека и ИИ в операциях кибербезопасности. Результаты показывают, что LLM в основном функционируют как когнитивные помощники для осмысления и построения контекста, а не как инструменты принятия решений, при этом аналитики сохраняют четкий авторитет в отношении критически важных определений безопасности.

Банк России разработал Кодекс этики в сфере разработки и применения искусственного интеллекта на финансовом рынке \ КонсультантПлюс
https://www.consultant.ru/law/hotdocs/89962.html

#AIOps
#MLSecOps
"Security Attacks on LLM-based Code Completion Tools", v.4, AAAI 2025.
]-> example code and attack samples

// LLM-based Code Completion Tools (LCCTs) often rely on proprietary code datasets for training, raising concerns about the potential exposure of sensitive data. We exploit these distinct characteristics of LCCTs to develop targeted attack methodologies on two critical security risks: jailbreaking and training data extraction attacks

#AIOps
#Research
"Mind the Third Eye! Benchmarking Privacy Awareness in MLLM-powered Smartphone Agents", 2025.
]-> https://github.com/Zhixin-L/SAPA-Bench

// with the rise of MLLM-powered smartphone agents, automation performance has improved significantly-yet at the cost of extensive access to sensitive user data

#MLSecOps
"Retrieval-Augmented Defense: Adaptive and Controllable Jailbreak Prevention for Large Language Models", 2025.
]-> Repo

// RAD - novel framework for jailbreak detection that incorporates a database of known attack examples into Retrieval-Augmented Generation, which is used to infer the underlying, malicious user query and jailbreak strategy used to attack the system

RAG_bot — Telegram-бот на базе искусственного интеллекта для интерактивного анализа статей.

Индексирует веб-контент и предоставляет точные ответы с указанием источников.

Особенности:
▫️Умная индексация — обрабатывает статьи с любого URL
▫️Многоязычный — поддерживает вопросы и ответы на английском и русском языках
▫️Пользовательские подсказки — управление стилем и форматом ответа
▫️Поддержка прокси — работает с API OpenAI в регионах с ограничениями
▫️Ссылка на источник — всегда подкрепляет ответы доказательствами
▫️Постоянное хранилище — сохраняет проиндексированные статьи между сеансами

🐱 GitHub

Swe-agent — многоагентная система разработки программного обеспечения на базе искусственного интеллекта с агентами-исследователями и разработчиками, автоматизирующая реализацию кода посредством интеллектуального планирования и выполнения.

Создана с использованием многоагентных рабочих процессов LangGraph.

🐱 GitHub

Нарыл имбовый курс для тех, кто хочет разобраться в нейронках с нуля от Андрея Карпати (OpenAI/Tesla).

Это бесплатная серия лекций на YouTube (и репа на GitHub), где ты с нуля учишься собирать нейронки. Всё максимально hands-on: Автор не просто рассказывает теорию, а пишет код вместе с тобой — от самых азов до тренировки сетей.

Естественно бесплатно

AI Red Teaming CTF: [ai_gon3_rogu3]

В сентябре пройдет тематическая стф от hackerone, приглашаю желающих поучаствовать.
Регистрируйтесь и проверяйте свои навыки, всем удачи 🔥

Ссылка на саму ctf 🪲
Статья на hackerone 👾

Minima — это локальные контейнеры RAG с открытым исходным кодом, которые можно интегрировать с ChatGPT и MCP. Minima также можно использовать как полностью локальный RAG.

В настоящее время Minima поддерживает три режима:

1. Изолированная установка. Полностью локальная работа с контейнерами без внешних зависимостей, таких как ChatGPT или Claude. Все нейронные сети (LLM, reranker, embedding) работают в вашем облаке или на ПК, обеспечивая безопасность ваших данных.

2. Пользовательский GPT. Выполняйте запросы к локальным документам с помощью приложения или веб-версии ChatGPT с использованием пользовательских GPT. Индексатор работает в облаке или на локальном ПК, а основной языковой моделью остается ChatGPT.

3. Anthropic Claude — используйте приложение Anthropic Claude для поиска в локальных документах. Индексатор работает на вашем локальном компьютере, а Anthropic Claude выступает в качестве основной языковой модели.

🐱 GitHub

Incident Analysis for AI Agents
https://arxiv.org/html/2508.14231v1

#AIOps
#Analytics
#MLSecOps
"On the Security and Privacy of Federated Learning:
A Survey with Attacks, Defenses, Frameworks, Applications, and Future Directions", 2025.

// Federated Learning (FL) is an emerging distributed machine learning paradigm enabling multiple clients to train a global model collaboratively without sharing their raw data. While FL enhances data privacy by design, it remains vulnerable to various security and privacy threats..