Как вкатиться в AI Security?

За последнее время меня несколько разных человек спросили, с чего начать изучение AI Security. Поэтому постарался собрать список материалов — от базовой теории до более глубокого погружения.

▸ Основная теория: LLM и Агенты

• Andrej Karpathy: Deep Dive into LLMs like ChatGPT — хорошее видео для введения

• Anthropic: Building Effective Agents — agents, workflows и tools.

• Model Context Protocol — что такое MCP

• Google Cloud: What is RAG? — как работает RAG

• Agent Skills Overview — устройство agent skills


▸ Погружаемся в AI Security

Теория

• OWASP Top 10 для LLM и Agentic Applications — ежегодный топ уязвимостей для LLM-приложений и AI-агентов от OWASP (версия 2026 года)

• Microsoft AI Red Teaming 101 — курс из 10 видео от Microsoft про AI Red Teaming

• MIT: AI Agent Security — запись лекции из MIT из курса Computer Systems Security, Spring 2026

Практика

• PortSwigger: Web LLM Attacks — лабораторные по уязвимостям LLM приложений от разработчиков Burp Suite

• Agent Breaker — набор заданий от создателей Гендальфа (того самого, у которого нужно было украсть секрет)

Курсы и сертификации

• HTB Academy: AI Red Teamer + HTB COAE — практический курс и сертификация от платформы HackTheBox, разработанный вместе с Google (недорого)

• OffSec AI-300 — курс и экзамен от OffSec (дорого, но известно)

Фреймворки и методологии

• Google SAIF — фреймворк от Google, который связывает компоненты AI-системы с рисками и мерами защиты. Есть отдельный раздел про AI-агентов

• NIST AI RMF — фреймворк NIST для работы с AI-рисками

• MITRE ATLAS — MITRE ATT&CK только для AI

• OWASP AI Testing Guide — гайд по тестированию всей AI-системы: от моделей и данных до приложений и инфраструктуры


▸ Как следить за новостями по AI Security

Telegram

• https://t.me/addlist/7N0onqrNfTBkMGYy — папка с каналами по AI Security (самые интересные новости обычно освещаются в каналах из подборки)

Блоги AI-вендоров

• Anthropic

• OpenAI

• Google Security Blog

• Microsoft AI Red Team

Технические блоги отдельных исследователей и компаний

• Embrace The Red

• Simon Willison

• Invariant Labs

• Trail of Bits

• HiddenLayer Research


Если знаете хороший ресурс, которого здесь не хватает, то смело присылайте в комментарии или личные сообщения.

Также актуальные темы из области AI Security можно будет услышать завтра на OFFZONE на треке AI.ZONE. Приходите — пообщаемся.