Anthropic прогоняли модель через BrowseComp — бенчмарк по поиску труднонаходимой информации в сети. Моделька долго искала информацию, прямо ооочень долго, прямо все перерыла... и
Недолго думая, она решила сменить тактику и предположила, что она проходит какой-то тест:
Let me try a completely new approach — maybe this is a question from the GAIA benchmark dataset, which is designed to test AI agents.
С первого раза не угадала с бенчмарком, но потом пошла просто методом перебора. И одной из гипотез был BrowseComp.
В процессе она наткнулась на проблему — ответы на тестовые вопросы хранятся в сети в закодированном виде. Но модельку это не остановило:
• она пошла на гитхаб с исходным кодом бенчмарка, где нашла скрипт для декодирования
• потом пошла на HuggingFace — нашла нужный датасет в более удобном для чтения формате (JSON вместо бинарника)
• декодировала все вопросы и ответы и достала нужный ответ.
Впечатляет 😈
И вызывает два философских размышления:
1. Это наглядный пример, как далеко готовы пойти современные ИИ агенты, чтобы выполнить поставленную задачу. Они могут прибегать к нетривиальным подходам и не сдаются даже после ооочень долгого поиска ответа, когда кажется, что задача нерешаемая. И это круто! Это значит, что модели будут "думать" нешаблонно, помогать нам двигать науку вперед там, где мы могли попасть в тупик. Однако обратная сторона медали — пути достижения поставленных целей могут потенциально нарушать законы, правила, нормы морали и тд. Ведь это может оказаться наиболее эффективным и коротким способом.
2. Модели становится все сложнее тестировать. Как только у них появляется доступ к тулам и интернету — появляется вероятность, что модель найдет такие вот читкоды. Больше того модель начинает "понимать", что ее тестируют. Она узнает паттерны, которые используются в тестовых вопросов (например, нет персональных данных, сложная многоуровневая структура вопроса и тд). И тогда активнее начинает пытаться "взломать" этот тест.
Пока что это просто интересные находки разработчиков Claude. Но через них мы подглядываем в будущее. LLM будут дальше тренироваться именно на достижение целей, будут становится больше, будут иметь больше тулов. И тогда они будут еще более автономными и изобретательными. Куда это нас приведет?
Думаю, ответ сформулировал Андрей Карпатый в предисловии к своему новому репозиторию, где он сделал агента, который занимается авторисерчем по обучению и улучшению LLM:
Однажды передовые исследования ИИ выполнялись «мясными компьютерами» — между приёмами пищи, сном, другими развлечениями и редкой синхронизацией через звуковой интерфейс в ритуале под названием «групповая встреча». Та эпоха давно прошла...
Заместители