TGViewer
ML&|Sec Feed ML&|Sec Feed @mlsecfeed · 1.36K subscribers
Post #2625 138

Forwarded from AlexRedSec

ИБ-инженеры из Figma поделились опытом внедрения и использования ИИ-агентов для поиска и исправления уязвимостей в программном коде – статья написана простым доступным языком, да еще и с забавными иллюстрациями (Figma же😁).
В компании ИИ-агенты используются в трех процессах: генерации кода, проверка пулл-реквестов и аудит (ретроспективный) всего кода.

Из всех выводов и тезисов остановлюсь только на одном, который показался очень интересным с точки зрения баланса между "ИБ-запретительством" и "ИБ с человеческим лицом".
Несмотря на то, что ИБ-инженеры Figma обязали разработчиков направлять все пулл-реквесты через проверку ИИ-агентами, они сознательно не стали внедрять режим блокировки – руководство решило не платить "налог на трение", который возник бы при автоматической блокировке работы разработчиков. Вместо этого они сосредоточились на "правильных" коммуникациях:
🔗Figma отошла от мягких, «извиняющихся» формулировок в комментариях (с информацией о найденных багах в пулл-реквестах) агентов, чтобы сделать требования безопасности более весомыми.
Было:
«Есть вопросы? Напишите в #security. Ложное срабатывание? Нажмите 👎. Извините за шум».

Новый вариант содержит жирный шрифт и прямой призыв:
«🎯 Мы настраиваем точность сработок на основе оценок и отзывов пользователей. Пожалуйста, обработайте этот недостаток. Нажимайте 👎 на ложные срабатывания, чтобы помочь нам поддерживать высокий уровень точности. Вопросы? #security.

🔗Чтобы разработчикам было проще воспринимать информацию и они не игнорировали длинные отчеты, был жестко ограничен формат вывода комментариев агента:
🟠Одно предложение с сутью проблемы.
🟠Пронумерованные шаги воспроизведения эксплойта.
🟠Краткая рекомендация по исправлению.
🟠Ссылки на соответствующие участки кода.
Это решение помогло побороть привычку современных моделей (таких как Opus 4.5+) выдавать избыточные описания.

Это позволило повысить метрику исправления уязвимостей до мержа пулл-реквестов.
Однако тут стоит отметить, что:
1️⃣ИИ-агенты получили возможность комментирования (оповещения о нахождении потенциальных уязвимостей) пулл-реквеста только после достижения порога в 70% по метрике точности (доли реальных уязвимостей среди всех сработок).
2️⃣Использование ИИ-агентов не заменяет классических инструментов (SAST/DAST/SCA), а там скорее всего блокировки есть.
3️⃣Если автор пулл-реквеста помечает сработку ИИ-агента как ложноположительную, то такой кейс проверяется другим ИИ-агентом и, в случае, повторной сработки направляется дежурному ИБ-инженеру для ручной проверки и окончательного вынесения вердикта.

#ai #figma #vm #vulnerability #culture #scr #ssdlc #awareness
  • ❤ 1
  • ⚡ 1
  • 👾 1
More from @mlsecfeed
  1. Sep 27, 2026⚡ Julia 1: decision-модель на 144 млн параметров, которая работает даже на CPU Supersonic…
  2. Sep 26, 2026📣 Теперь публично. Запускаем соревнование ИИ-агентов по расследование инцидентов ИБ BlueS…
  3. Sep 25, 2026Microsoft выпустила скилл, который проверяет ИИ-агентов на дыры и фиксит всё 👍 run-assert…
  4. Sep 24, 2026Лаборатория Transluce провела большое расследование инцидентов с агентами OpenAI Они утвер…
  5. Sep 24, 2026https://pypi.org/project/agent-security-harness/3.7.0/#2
  6. Sep 23, 2026Компания Гриши Ткаченко, ex-Yandex, выпустила харнесс для ИИ-агентов Компания Unreal Labs…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →