TGViewer
IT Test IT Test @ittestru · 320 subscribers
Post #1262 105
🤖Современные модели пишут синтаксически корректный код почти в 100% случаев. Безопасным этот код оказывается в 56%.

Цифры из GenAI Code Security Report 2026 — исследования компании Veracode, опубликованного 28 июля. Моделям давали задачи на генерацию кода без единой подсказки про безопасность и проверяли, попадёт ли в результат известная уязвимость. Попала примерно в 44% задач. Годом раньше средний результат был 55% — за год не сдвинулось почти ничего, зато объём ИИ-кода, уходящего в продакшн, вырос кратно.

Самое полезное в отчёте — разбивка по типам уязвимостей. Модели уверенно закрывают то, что выглядит как повторяемый шаблон:
• SQL-инъекции — 83%
• криптоалгоритмы — 87%

И проваливаются там, где нужно понимать, как пользовательский ввод идёт через систему:
• XSS — 15%
• log injection — 12%

Модели, специально заточенные под код, показали в среднем 51% — против 52% у универсальных. Размер тоже почти ничего не решает: крупные 53%, средние и небольшие по 51%. Лучший результат в выборке — 68%, то есть даже топовая модель проваливает почти каждую третью задачу по безопасности.

Что из этого следует для команд: код, который компилируется и выглядит чисто, не является проверенным. Ревью и тесты имеет смысл концентрировать не равномерно, а там, где модели стабильно слабы — на путях пользовательского ввода через систему 🔍

😎И проверять это должен не тот же ИИ, который код написал.
  • 🔥 5
More from @ittestru
  1. Oct 2, 2026На техническом собеседовании инженера 72% вопросов — теория. На собеседовании руководителя…
  2. Sep 24, 202667% российских IT-компаний назвали автоматизацию тестирования приоритетом номер один. Это…
  3. Sep 22, 202618 августа отказ питания на подстанции, обслуживающей ММТС-9, на полтора часа уронил Steam…
  4. Sep 18, 2026Один из самых дорогих багов в истории обошёлся в 440 миллионов долларов за 45 минут. В 201…
  5. Sep 15, 2026В классическом ПО не было категории дефекта "система уверенно врёт". В продуктах с LLM это…
  6. Sep 11, 2026Системы падают не тогда, когда трафик вырос, а тогда, когда об этом узнали постфактум. Осе…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →