Мы еще не опоздали

Девять экономистов, двое из которых работают в METR (организация тестирует фронтир-модели на опасные наклонности), выложили на arXiv попытку посчитать, идет ли уже рекурсивное самоулучшение ИИ. Проще говоря, ускоряет ли ИИ разработку нового ИИ настолько, что процесс начинает подпитывать сам себя.

Авторы описывают прогресс как замкнутый цикл: более сильная модель делает исследователей продуктивнее, они быстрее улучшают алгоритмы, что дает еще более сильную модель. Цикл разгоняет сам себя, если каждый виток дает эффект больше, чем предыдущий. Большинство звеньев цикла можно оценить по открытым данным, кроме одного: насколько на самом деле сильная модель ускоряет исследования внутри ИИ-лаб.

Авторы и посчитали, каким это звено должно быть, чтобы разгон начался.

Способности моделей они меряют индексом Epoch Capabilities Index от Epoch AI, который сводит результаты множества бенчмарков в одну шкалу. Получилось, что каждая ступень этой шкалы должна повышать эффективность исследований в ИИ хотя бы на 15%. Для масштаба: Claude Opus 4.8 выше Opus 4.7 ровно на одну ступень. То есть переход с одной версии на другую должен был ускорить работу исследователей Anthropic на 15%.

Фактическую отдачу авторы оценили по данным самой Anthropic. В системной карточке Claude Mythos Preview сотрудники компании оценили, что Claude повышает их продуктивность в 4 раза. Авторы считают эту самооценку почти наверняка завышенной, но берут ее как есть. Между Claude 3.7 Sonnet, вышедшим вместе с Claude Code, и Opus 4.8 лежит 16 ступеней индекса. Четырехкратный прирост, растянутый на 16 ступеней, дает около 9% на ступень. Пока что ниже порога.

Оговорок хватает. Расчет авторы называют очень грубым, модели эволюционируют, поэтому наступление рекурсивного самоулучшения они не исключают. Точнее посчитать мешает нехватка данных, которые есть только у лабораторий: как быстро улучшаются их алгоритмы, как распределены расходы на R&D и за какую часть програсса отвечает сам ИИ.

При этом Дарио Амодеи в эссе с призывом притормозить отрасль пишет, что с лета ИИ развивается радикально быстрее именно благодаря самоулучшению, и через 6-12 месяцев агентный рой может захватить интернет ботнетом. Самая выгодная для этого тезиса цифра, которую нашли экономисты, это самооценка сотрудников его же компании, и даже ее не хватает.

@anti_agi