Похоже CTF в нынешнем виде закончились?

После финала DEF CON CTF один из игроков поговорил с участниками о том, как LLM изменили соревнование. Ответ получился мрачный: почти никому не было весело.

Раньше как было? Ты годами учишься, разбираешь бинарники, сети, криптографию, пишешь эксплойты, а потом приходишь на CTF и показываешь, чему научился. И сами CTF были частью обучения: можно было восемь часов биться над задачей, ничего не понимать, читать документацию, ошибаться и именно так постепенно становиться исследователем.

Сейчас оптимальная стратегия другая: token maxxxxxing!

Ведущие команды на DEF CON агрессивно гоняли ИИ-агеннтов и запускали как можно больше запросов. Про команду №1 ходит слух с цифрой около $50 тысяч на токены.

Но сама механика уже понятна: отказался использовать LLM — проиграл тем, кто использует. Участники оценивают нынешнее соотношение примерно как 95% token-maxxing и 5% человеческого навыка.

Причем эти 5% пока еще важны. Сильные игроки остались сильными и с LLM: они лучше ставят задачи, понимают, куда копать, и замечают, когда модель несёт чушь. Совсем тупым оператором быть пока нельзя.

Но вопрос другой: а что теперь показывает CTF?

Если я решил десять задач сам, а ты решил двадцать, запустив двадцать агентов и потратив в десять раз больше денег, кто из нас лучший специалист по безопасности?

Участники описывают процесс почти как обслуживание игровых автоматов: отправил запрос, получил не то, отправил ещё раз, поменял модель, добавил контекст, снова дёрнул ручку. Выигрывает тот, кто эффективнее крутит слот-машину и у кого больше жетонов.

CTF становятся pay-to-win.

CTF десятилетиями были фабрикой кибербезопасников. На них люди учились учиться. Теперь новичка scoreboard вознаграждает за обратное: не мучайся, не разбирайся — скорми задачу модели и бери следующий флаг.

@gostev_future