SentinelLABS взяли своё недавнее расследование fast16 — диверсионного импланта 2005 года, созданного, чтобы незаметно портить расчёты в программах моделирования ядерного оружия, — и превратили его в испытание на реверсинг для передовых ИИ-моделей.

Суть benchmark не в сложности задачи, а в её устройстве.

Инструментов минимум: профессиональный дизассемблер, изолированный рабочий каталог без выхода в сеть и единая для всех методичка по реверсу. Погуглить готовый разбор fast16 нельзя — только то, что положили в песочницу.

Восемь ступеней, и на каждой в песочницу подкладывают новый материал — почти без пояснений, что с ним делать. Догадаться должна сама модель.

Сначала — разобрать сам имплант в дизассемблере и оставить не красивый текст, а размеченную базу кода, которую можно перепроверить. Потом — примерить его логику к целевой инженерной программе. Затем к десяткам её сборок: правильный ответ — что мишень лишь часть из них, а не весь класс софта. Дальше подкладывают два посторонних пакета, где имплант тоже частично срабатывает, — ловушка на поспешный разворот всей картины. Потом гипотеза, на которую ни у кого нет ответа, включая самих исследователей. Потом чужие публикации, включая конкурентов, — каждый тезис нужно свести со своими уликами, а не молча переписать выводы под авторитет. Потом отчёт для публикации. И в самом конце — еще новые артефакты, когда отчёт уже написан и его жалко трогать.

Проверяют, коротко говоря, не «угадала — не угадала», а способность вести расследование, когда почва под выводами уходит раз за разом.

Итог: все восемь ступеней прошла только GPT-5.6 Sol от OpenAI. GPT-5.5, китайская GLM-5.2 и семейство Opus от Anthropic делали добротный анализ на отдельных участках, но дистанцию не удержали — срывались на том, что объявляли работу готовой раньше, чем чинили собственные огрехи.

Отличало победителя не глубина ума и не умение находить ошибку — это было у всех. А умение прибраться за собой на масштабе всего проекта: отозвать опровергнутый вывод, найти всё, что на нём держалось, починить причину, протащить исправление дальше и вовремя остановиться. Показательно, что Sol сам придумал ошибочную версию, сам же её разгромил, откатил и пометил как тупиковую ветку — чтобы не потащить в дальнейший анализ.

Сильнейшие прогоны всё равно лепили смысловые ошибки, вели слабый контроль качества и рано кричали «готово».
ИИ в реверсе сегодня — не замена эксперту, а поднадзорный агент: человек ставит цель, дозирует улики, вскрывает слепые зоны и оставляет за собой право на публикацию. Но один такой эксперт теперь тянет объём, который раньше был немыслим, — а ведь именно нехватка людей три десятилетия держала реверс от масштабирования.

P.S. вендор оценивает вендоров, первое место у OpenAI, а один из авторов когда-то запускал у OpenAI оценку киберспособностей. Методология выглядит честной — но конфликт интересов не убрать.

Отчёт и готовые базы для проверки — у SentinelLABS на GitHub.

@gostev_future