Обновлен Международный доклад по безопасности ИИ

Опубликовано второе обновление Международного доклада по безопасности ИИ, в котором описаны текущие меры по управлению рисками, связанными с инструментами ИИ.

Что интересно:
1. Атаки хакеров на ИИ успешны в 50% случаев: «Эшелонированная Защита» постоянно прорывается.
Несмотря на то, что разработчики ИИ внедряют стратегию «эшелонированной защиты» (defence-in-depth), комбинируя меры безопасности на этапах обучения, развертывания и мониторинга, этого часто оказывается недостаточно перед лицом изощренных злоумышленников.
Вывод: Это демонстрирует динамичный ландшафт «атака-защита»: разработчики совершенствуют методы, но хакеры постоянно находят новые способы вызвать нежелательное поведение.

2. Угроза «Отравления данных» делает атаки на ИИ невероятно дешевыми.
Источники подчеркивают опасный дисбаланс ресурсов между защитой и нападением: создание надежных систем дорого и сложно, тогда как их компрометация может быть удивительно дешевой.
Вывод: Низкая стоимость проведения атак «отравления данных» по сравнению со стоимостью разработки и поддержания надежных защитных механизмов создает серьезный риск для целостности и надежности систем ИИ.

3. Мощный ИИ с открытым кодом стал инструментом для создания незаконного контента.
Рост моделей с открытыми весами (open-weight models) — моделей, параметры которых свободно доступны для загрузки и модификации — резко изменил ландшафт рисков, поскольку контроль над ними утрачивается.
Вывод: Открытость способствует инновациям и прозрачности, но она также делает контроль за модификацией и использованием моделей практически невозможным, что подчеркивает, почему технические меры по управлению рисками для открытых моделей остаются незрелыми.