Ребята из XBOW прогнали новый Claude Mythos Preview через свою мясорубку тестов на поиск уязвимостей

Результат предсказуем, но от этого не менее впечатляет: на чистом багаханте модель разносит конкурентов и забирает корону топового инструмента для безопасников.

Но есть нюанс. Как только шаг влево и задача выходит за жесткие рамки безопасности — магия рассеивается. Модель начинает откровенно буксовать и галлюцинировать.

Похоже, эпоха «одна нейронка для всего» заканчивается. Мы движемся к архитектуре, где в пайплайне будет работать зоопарк узкоспециализированных ИИ: один пишет код, другой ищет в нем дыры, а третий пытается все это задеплоить.

#cybersecurity #AI #appsec #AIAgents

Блог XBOW о тестировании ИИ-агентов на уязвимости