LLM стали умнее, но код их безопаснее не стал

Veracode проверили около 100 моделей на способность писать безопасный код на питоне, js, шарпе и джаве. Лишь 4% сгенерированных решений были безопасны с первого раза. Даже после уточняющих промтов доля безопасного кода не превысила 40%. Любопытно, что названия моделей команда не приводит. Боится исков?) 

И ещё немного цифр:

▪️ 45% образцов кода не прошли проверку на безопасность и содержали уязвимости из списка OWASP Top 10

▪️ Лучше не просить писать модели на Java. Он оказался самым «опасным» языком — 72% сгенерированного LLM Java-кода включали уязвимости

▪️ У других языков все получше: Python – 38 %, JavaScript – 43 %, C# – 45 % не проходят проверки безопасности 

▪️ Cross-Site Scripting (CWE-80) LLM не смогли правильно обрабатывать в 86 % случаев

▪️ Размер не имеет значения: код одинаково уязвимый и у модели на 100+ и на 20 миллиардов.

Новые модели хотя и стали писать код на уровне нас с вами, дорогие читатели, но по части безопасности особого прогресса не демонстрируют. А так как ИИ-код уже проник в прод через open-source библиотеки, сторонних подрядчиков, low-code/no-code платформы и аутсорс, у меня для вас плохие  новости. Если вы не проводите глубокую проверку всего кода, то рискуете столкнуться с утечками данных, репутационными потерями и серьезными финансовыми штрафами. В общем, есть ненулевая вероятность пополнить доску почета вместе с винлабом, аэрофлотом, Почтой России и тд. 

Что делать❓

*Здесь могла быть реклама ИБ-компаний*

На самом деле все то же самое, что делали бы с кодом джунов: сканировать, тестировать и пентестировать, внедрять старый добрый Devsecops. Ибо LLM — это мощный инструмент, но не эксперт по ИБ. Их можно использовать для ускорения разработки, но проверка кода и безопасность остаются за вами. 

Как и ответственность.

@anti_agi