Стараюсь не отставать от трендов и качаюсь в направлении ИИшницы. Есть такие мысли, что стандартные пентесты и анализы защищенности скоро умрут как класс, а те, кто не приспособятся, вылетят с рынка.

Поэтому одним глазом смотрю в сторону пентест-агентов, а вторым глазом в сторону безопасности самих агентских систем. Третьим глазом продолжаю смотреть в классические направления пентеста (скоро сдаю экзамен OSEP), четвертым смотрю в сторону развития команды и прочего менеджмента.

Исходно это должен был быть короткий пост, но я увлекся, поэтому рассказываю:

1. Недавно прошел интенсив Похека про пентест агентов. До этого уже какое-то время использовал AppSec/pentest скиллы для claude code и в целом было неплохо, но никак не мог собрать пайплайн во что-то съедобное. Пройдя курс, я осознал, что в целом это не rocket science и сейчас мы с командой настраиваем агентский пайплайн под себя. Сильно много нового в курсе я не узнал (видимо, уже смешарик), но он точно подойдет тем, кому нужно вкачать базу. Рекомендую посмотреть оглавление и краткое описание курса.

2. Развиваю направление безопасности языковых моделей. Когда мой старый знакомый еще в 2023 году сливал системные промпты с фронтир моделей, это было весело, но не актуально. Сейчас это и весело и актуально. Агентские системы всё более плотно входят в нашу жизнь и, кажется, это уже текущая реальность. Начал начитывать много теории, райтапов, докладов. Удивился, что OWASP подоспели и уже накидали TOP 10 для LLM, TOP 10 для скиллов, и TOP 10 для агентских приложений. И это отдельная вселенная. Будто бы и рядом, но совсем другое. И уже есть большой количество лаб, чтобы отрабатывать такие навыки. Около месяца назад ковырял Gandalf от lakera.ai, но почему-то его выпилили, вот как оно выглядело. И недавно начал ковырять owasp finbot и уже решил свой первый челендж с техникой ASI01: Agent Goal Hijack. В планах также пройти курс HTB по AI RedTeaming.

Много чего происходит, гонка становится всё ожесточеннее, локальные и мировые социально-экономические кризисы точно влияют на каждого из нас. Парадигма меняется стремительно и главным ресурсом становится фокус и внимание. Что делать с этой информацией, зачем она вам? Это зависит от вас.