Сам себе разработчик

Пока Дарио Амодеи предлагает лабораториям притормозить, Anthropic впервые показала, почему торопится с этим призывом. В августе Claude уже вёл 26% исследований и разработки новых моделей компании. В феврале доля составляла меньше 1%. Ещё более чем в 90% работы Claude как минимум участвовал вместе с людьми.

Для оценки самостоятельности агента в процессе Anthropic использует шкалу Epoch AI от AL0 до AL5. Нынешний результат относится к AL4: человек формулирует задачу верхнего уровня, после чего агент выполняет большую её часть самостоятельно, справляется с возникающими проблемами и приносит готовый результат на проверку.

Например, инженер сообщает Claude о сломанном ночном конвейере обработки данных. Агент сам разбирает журналы, находит причину, пишет исправление, прогоняет тесты, сравнивает результат с последним успешным запуском и составляет отчёт. Человек читает его и решает, выпускать изменение или нет.

В августе на основной внутренней платформе компании одновременно работали около 30 тыс. агентов. За месяц они приняли более миллиарда решений. Все действия проходили автоматическую проверку до исполнения; монитор заблокировал 0,002% — примерно одно из 47 тыс. Постфактум система дополнительно отбирает около 100 тыс. подозрительных диалогов в неделю, после нескольких фильтров до человека доходят примерно 50.

Сам индекс тоже во многом собрал Claude. Агент изучил рабочие записи случайной выборки сотрудников, включая Slack и внутреннюю документацию, и выделил около 15 тыс. конкретных задач. Затем другой Claude разложил их по дереву из 542 категорий, а независимый Claude-судья определил степень автоматизации. Люди проверили оценки: точное совпадение составило 59%, расхождение не более чем на один уровень — 97%.

За контрольную неделю июля Anthropic направила на безопасность около 6% исследовательских вычислений. Среди задач, которыми преимущественно управлял ИИ, доля достигла 12%. Компания обещает публиковать показатели регулярно и допустить к проверке сторонних оценщиков.

До рекурсивного самоулучшения ещё не дошли. Пока получается более бюрократичная версия: Claude помогает создавать следующего Claude, затем Claude подсчитывает вклад Claude, а люди проверяют, правильно ли Claude оценил Claude.

@anti_agi