Lakera выпустила отчет за 2024 год о готовности разработчиков приложений с ИИ к обеспечению безопасности 🧑‍🎓

Интересные инсайты:

1⃣ Почти 90% организаций внедряют или исследуют GenAI, но только 5% уверены в своих мерах безопасности.

2⃣ Более 200 000 человек успешно прошли все уровни хакерской игры Gandalf, которая моделирует атаки на LLM. Это показало, насколько легко эксплуатируются уязвимости GenAI, несмотря на встроенные защитные механизмы.

3⃣ 58% организаций не принимают меры по безопасности ИИ, лишь 12% имеют выделенные команды.

4⃣ 91% организаций не сообщили об уязвимостях в своих GenAI-системах за последний год. Вероятнее всего, это говорит об отсутствии инструментов мониторинга и понимания угроз.

5⃣ Эксперты рекомендуют проводить AI Red Teaming не на этапе развертывания, а от ранних стадий разработки и выбора модели до этапа взаимодействия с пользователями. Иначе критические уязвимости могут остаться незамеченными — и быть использованы до внедрения защит.

Таким образом, разработчики приложений ИИ нуждаются в мониторинге и тестировании на протяжении всего жизненного цикла. Этими проблемами мы и занимаемся в @aisecuritylab