Claude понял, что его тестируют, и просто взломал ответы 😳

Модель проходила бенчмарк OpenAI (BrowseComp), где нужно было искать сложную инфу в сети. Помучавшись с тупиковыми запросами, ИИ внезапно остановился, проанализировал сам стиль задания и сделал вывод: "Слишком искусственно, меня тестируют".

Вместо честного поиска Клод пошел на GitHub, нашел репозиторий с этим самым тестом, раскопал алгоритм XOR-шифрования и прямо во встроенной песочнице Python написал дешифратор. В итоге ИИ скачал с зеркала на HuggingFace зашифрованный датасет, взломал его и вытащил все 1266 правильных ответов.

Правда, этот мув влетел создателям в копеечку, на один такой трюк Клод сжег 40,5 миллионов токенов (в 38 раз больше нормы). И получалось это далеко не всегда, исследователи засекли еще 16 попыток списать, которые с треском провалились из-за кривых форматов или закрытого доступа. Иногда ИИ вообще спускал все ресурсы на попытки угадать название бенчмарка, забив на само задание.

В Anthropic разводят руками, технически ИИ ничего не нарушил, ведь прямого запрета гуглить ответы в правилах не было. Никто не учил его обману специально, просто алгоритм пошел по пути наименьшего сопротивления.

🥸 godnoTECH - Новости IT