Как в индустрии учатся защищать AI

За последние 2 года в AI Security сформировалась полноценная отрасль: только в специализированные продукты по защите LLM и агентов инвесторы вложили > $414 миллионов (при общей оценке AI Security рынка $8.5 миллиардов в 2024-2025), появились десятки стартапов и продукты по разным направлениям. И большАя часть решений пришла не из крупных AI-лабораторий, а из независимых команд, небольших стартапов и разного рода хакатонов и соревнований.

Вот несколько примеров:
🟣Lakera: использует открытые соревнования как инструмент развития отрасли. Их игра Gandalf, выросшая из внутреннего хакатона, стала крупнейшим red teaming community для GenAI. А данные, собранные в её агентной версии Agent Breaker, легли в основу открытого бенчмарка b3 (Backbone Breaker): он сделан в коллаборации с UK AI Security Institute и оценивает безопасность backbone-LLM в агентах.
🟣PromptArmor: небольшая независимая команда, которая через 2 дня после релиза Claude Cowork показала, как можно украсть приватные данные через скрытую инъекцию в файле «skill». Сработало в том числе против Opus 4.5, самой сильной модели Anthropic на тот момент.

В России рынок AI Security слабее, но активно формируется — и сильные продукты у нас, как и в мире, будут появляться из независимых исследований и публичных работ. В этом году Pentest Award, премия, которая ищет и поддерживает работы этичных хакеров, добавила новую номинацию — Атаки на AI. Если у вас есть наработки, обязательно подавайтесь: чем больше работ выходит в публичное поле, тем быстрее формируется отрасль