Джеффри Хинтон, Йошуа Бенджио и ещё два десятка исследователей выпустили статью про интеллектуальный взрыв
Вышла она в Кембридже, авторов — 22. В списке, например, главный научный сотрудник OpenAI Якуб Пачоцки и сооснователь Anthropic Джек Кларк. Главный вопрос звучит так: что будет, если ИИ начнёт ускорять разработку ИИ так, что годы прогресса ужмутся в месяцы.
Стартуют не с воздуха, а с того, что уже творится в лабах. В Anthropic с начала 2025-го доля кода от моделей подскочила с единиц процентов до более 80%, а автономных R&D-задач у ИИ за полгода стало 26% вместо 1%. Сама логика взрыва простая: модели раздувают исследовательский штат, штат делает модели лучше — и цикл крутится дальше. Компьюта одной лабы хватит на эквивалент миллионов топовых исследователей. Если историческая отдача от исследований сохранится, то после полной автоматизации прогресс ускорится в 10 раз примерно за полтора года. Может и не сбыться — упрётся в компьют, данные или длительность претрейнов. Но риски авторы считают серьёзными.
Адаптироваться общество не успеет, контроль над моделями люди потеряют, а лидер гонки получит слишком жирный перевес. Регуляторам советуют обязать лабы отчитываться о степени автоматизации R&D и пускать внешних аудиторов проверять модели до внутреннего деплоя. Параллельно надо заранее готовить тормоза: лимиты на прирост способностей за период, возможность жать паузу на конкретные нагрузки в датацентрах, международные соглашения с проверкой исполнения. Если взрыв начнётся, считают авторы, решать что-то будет уже поздно.
источник
👉 About Python
Post #3221
216

- ❤ 1