Основные ресурсы по вопросам безопасности ИИ

#иб_в_ml

Если вы задавались вопросом, как найти полезную информацию о некоторой узкой теме в ML Security, или только собираетесь знакомится с этой областью, этот список ресурсов для вас.

Просто ML
🟢Гит со ссылками про MLOps

🟢Introduction to Machine Learning - статья (649 страниц) на arxiv про все машинное обучение до самых основ, вышла 4 сентября 2024 года.

🟢Введение в практический ML с тетрадками jupyter

🟢Курс по NLP на HuggingFace

🟢Основы MLOps

Безопасность ML
🔵Карта навыков от PWNAI

🔵глоссарий терминов

🔵Статья от Microsoft про концепции в AI Secuirty

🔵Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps - Книга, написанная для безопасников по безопасности ИИ

🔵Periodic Table of AI Security by OWASP - фреймворк от OWASP, где рассмотрены меры защиты

🔵Generative AI Security: теория и практики - Достаточно много инфы по LLM, включая регуляторику.

🔵Еще про регуляторику писали тут (в самом конце).

🔵Список ресурсов около llm-security тематики от PWNAI

🔵Еще один список: ML+OPS+security

🔵MlSecurity Playbook по offensive security

🔵Объяснимость ИИ

🔵Конференции, где есть безопасность ИИ
— Зарубежные: DEFCON (AI Villiage), BlackHat (трэки AI,Datascience),
Conference on Applied Machine Learning in Information Security. + Обзор докладов на тему AI с этих конференций.
— Российские: PHDAYS (названия треков меняются, но есть с AI), OFFZONE (AI.ZONE), Форум "Технологии Доверенного ИИ", и скоро будет анонсирована еще одна, пока секретная...

🔵Интересные исследователи по MLSec: Николас Карлини, wunderwuzzi

🔵Классические фреймворки по MLSecOps: Huawei, Databricks, Snowflake, CyberOrda (RU).

🔵Коллекция ссылок и немного теории - гит от jiep

🔵Таксономии атак на ml - карта от MRL, от института BIML

🔵ИИ для кибербезопасности: тренды и востребованность - статья от ВШЭ

🔵Коллекция вредоносных промптов для LLM

🔵И еще один такой сборник

🔵Большая статья с кучей кода как проводить атаки на ml

🔵Доклад Adversa на Conf 42 - Introducing MLSecOps

🔵Пара статей с Хабра про атаки на мл

🔵Paper stack от dreadnode

🔵CTF и подобные площадки, где можно попробовать собственные силы в промпт-атаках LLM (спасибо Коле)
1. crucible.dreadnode.io
2. https://huggingface.co/spaces/invariantlabs/ctf-summer-24/tree/main
3. https://promptairlines.com/
4. burp labs: https://portswigger.net/web-security/llm-attacks
5. в обычных ctf тоже появляются куски с ml/llm, например, в http://poll-vault.chal.hackthe.vote/
6. https://myllmdoc.com/
7. https://gandalf.lakera.ai/
8. AI CTF с PHDFest2 2024: https://aictf.phdays.fun/

И немного от меня лично:

🔵Обзор компетенций для работы с данными в ИБ в трех частях (один, два, три)

🔵Статья про инциденты ML Security

🔵Введение в NLP в ИБ (один, два)