TL;DR: мы потеряем контроль
Авторы обсуждают так называемый интеллектуальный взрыв, то есть резкое ускорение прогресса ИИ за счет самого ИИ.
По данным Anthropic, доля одобренного кода, написанного ИИ, выросла с единиц процентов до 80%+ с января 2025 по май 2026. Доля R&D-работы, которую ИИ выполняет (почти) самостоятельно, выросла с 1% до 26%. Авторы считают, что в ближайшие годы агенты могут автоматизировать большую часть работы по AI-исследованиям и разработке, а возможно, и всю. Например, экстраполяция трендов METR говорит, что многомесячные R&D-проекты могут быть автоматизированы уже к середине 2028 года.
Получается, что каждая компания будет иметь миллионы топовых исследователей вместо тысяч, и при этом они будут работать быстрее. А значит, научный прогресс, который занял бы годы, сможет уложиться в месяцы.
Конечно, есть ограничения, типа: лимиты вычислений, данные, трудноавтоматизируемые задачи, убывающая отдача от исследовательских усилий и так далее. Тем не менее, ученые уверены, что интеллектуальный взрыв – это очень вероятный сценарий, и он грозит потерей контроля над ИИ и сломом баланса сил.
Авторы просят власти заранее заставить лаборатории отчитываться, пустить к ним аудиторов и заготовить красную кнопку и аварийные планы. Вот так.
Смело добавляем статью в копилку нагнетающих эссе и открытых писем, на которые последнее время пошла мода у ученых и CEO