Claude умеет кодить, но сможет ли он проверять исполняемые бинарники? 💚

Парни дали AI-агентам доступ к Ghidra (декомпилятор от NSA) и поставили задачу искать скрытые бэкдоры в серверах, работая только с бинарниками, без какого-либо доступа к исходникам.

AI-агенты действительно способны находить некоторые спрятанные бэкдоры в бинарях. Но до прода этот подход пока не дотягивает. Даже лучшая модель, Claude Opus 4.6, находила относительно очевидные бэкдоры в небольших и средних бинарниках только в 49% случаев. Хуже того, у большинства моделей высокий false positive rate: они помечали чистые бинарники как зараженные.

В этом посте разбираются несколько недавних историй из безопасности, что такое бинарный анализ и как строят бенчмарк для AI-агентов. Посмотрим, где они справляются, а где проваливаются.