Вышло два интересных обзора от НИУ ВШЭ:
1. ИИ для кибербезопасности: тренды и востребованность
2. Как повысить безопасность разработки и использования ИИ?

Первый обзор опирается на исследование InfoWatch, посвященное утечкам данных. Фишинг выходит на новый уровень, и не зря в CyberSecEval 3 первые две категории риска посвящены этой же теме. В отчете "ИИ для кибербезопасности" указаны тренды по разработке блокировки ботов через GenAI, исследования в области анализа кода на уязвимости через LLM, а также растущий интерес компаний к адаптации ИИ-решений для кибербезопасности.

Второй отчет описывает различные этапы подготовки ИИ-решений и затрагивает уже актуальные проблемы: отравляющие атаки, очистку данных, фильтрацию данных на выходе из модели и т.п. Также из отчета узнал, что недавно был принят закон о страховании рисков от применения технологий ИИ для разработчиков, работающих в экспериментальном правовом режиме. В мае при поддержке Минцифры был создан консорциум, который занимается вопросами безопасности ИИ. Вероятно, новый проект ФСТЭК будет также рассматриваться в этой экспертной группе.

Всё больше профильных работ привлекают внимание к теме AI Security, что помогает адаптации новой технологии.