Американская компания Anthropic, создатель семейства моделей Claude, опубликовала доклад, в котором предупредила о рисках быстрого развития искусственного интеллекта. Разработчики указали на растущую вероятность рекурсивного самосовершенствования — ситуации, когда системы ИИ смогут самостоятельно проектировать, обучать и улучшать следующие версии себя без значительного участия человека.

Еще несколько лет назад эксперты обсуждали возможность, что алгоритмы ИИ начнут ускорять собственный прогресс. Однако теперь Anthropic приводит в качестве доказательств теории свои внутренние данные, которые превращают теорию в реальность. По их подсчетам, уже в мае 2026 года Claude сгенерировал более 80% кода, который вошел в производственные продукты компании. Раньше, до запуска инструментов наподобие Claude Code в начале 2025 года, доля такого кода составляла единицы процентов. Инженеры теперь выпускают примерно в восемь раз больше кода за квартал, чем несколько лет назад. Роль человека постепенно сводится к постановке задач и проверке результатов.

В начале 2020 годов ведущие лаборатории, включая OpenAI и Anthropic, начали активно масштабировать модели. Anthropic с самого основания позиционировала себя как компанию, уделяющую особое внимание безопасности разработок. Она вводила внутренние регламенты ответственного масштабирования, где говорилось о возможных паузах в разработке при превышении определенных уровней рисков.

Сейчас компания признает, что полное рекурсивное самосовершенствование еще не наступило и не является неизбежным. Тем не менее такой переход может произойти раньше, чем ожидают многие разработчики.

Модели, способные самостоятельно улучшаться, будет труднее отслеживать, чем традиционные секретные проекты. Скрытые механизмы обучения и возможные расхождения целей ИИ с человеческими становятся серьезной проблемой. Anthropic предлагает рассмотреть глобальный механизм замедления или временной приостановки работ над самыми мощными моделями, чтобы общество и исследования в области безопасности успевали за технологией.

При этом не исключено, что такими страшилками Anthropic попросту пытается притормозить конкурентов, которые наступают им на пятки. Ранее попытки «добровольных пауз» не приводили к заметным результатам из-за конкуренции между лабораториями. Компании продолжают инвестировать огромные средства в вычислительные мощности, а данные о внутренних успехах Anthropic могут подтолкнуть конкурентов к еще более активным действиям. Кроме того, точность измерения вклада ИИ в код остается предметом обсуждения: часть автоматизации связана с инструментами, а не с полной автономией системы.

Тем не менее, если тренд сохранится, через один-два года некоторые модели действительно приблизятся к способности проводить полноценные исследовательские циклы. Это потребует не только технических решений по выравниванию, но и международных договоренностей. Без них контроль над процессом может существенно ослабеть, а риски экзистенциального характера, о которых говорят специалисты, станут более реальными. Технология ИИ развивается слишком быстро, чтобы человечество могло осознать эти темпы.

#ии #ai #технологии #футуризм