Сингулярность может начаться задолго до появления «сверхразума»

Когда И. Дж. Гуд в 1965 году сформулировал идею «интеллектуального взрыва», его аргумент, как мне показалось, был почти экономическим. Если машина достаточно хорошо умеет проектировать машины, то улучшение интеллекта само становится интеллектуальной задачей. Дэвид Чалмерс спустя сорок пять лет разобрал эту логику философски и показал, что решающий вопрос всё же заключается в эффективности. Каждое поколение системы должно кратно ускорять процесс создания следующего.

Здесь хочу привести свежий эксперимент Alibaba — Qwen3.8-Max месяц улучшала сама себя и за 33 итерации без участия людей увеличила показатель одного из бенчмарков на 96%. Модель устроила собственный технологический прогресс: формировала данные, выбирала эксперименты, находила ошибки, оптимизировала инфраструктуру.

Но расстрою вас: китайцы не опубликовали никакой документации, что делает результаты эксперимента непроверяемыми. Верить эффективности на слово не будем и лучше обратимся к современному обзору 1250 работ по самоулучшению моделей. Он подчёркивает ограниченность процесса — открытый цикл в 2026 году упирается в дороговизну, качество внешней проверки и необходимость человеческого выбора исследовательского направления.

А отсюда, если совсем без зауми, пока что самоулучшение, кншн, круто, но остаётся скорее фишкой для инвесторов, не показывая качественных результатов за очень большие деньги.

Опять навеяло будущим хлопком пузырька ИИ.... :)))

Но если мы говорим о развитии технологии, то человеческий барьер всё же постепенно размывается, а модели забирают у человека всё больше задач. В Anthropic Claude ведёт 26% задач по разработке следующих моделей и участвует более чем в 90% исследовательской работы хотя бы как соавтор; OpenAI уже говорит об «автоматизированном исследователе-стажёре», который способен самостоятельно выполнять задачи, требующие нескольких дней человеческой работы.

Так что, моделируя будущее, мы всё же приходим к тому, что человечество плавно передаст основные инструменты моделям и подойдёт к сингулярности, минуя фантастическую «точку невозврата». Настанет размазанный во времени момент, когда главный ограничитель прогресса постепенно перенесётся с человеческого времени на вычисления и физическую инфраструктуру. Ведь всё-таки Alibaba задала направление для саморазвития модели, а не Qwen сама решила, куда ей расти.

Обратимся тут и к мейнстриму в области машинного обучения. Ник Бостром называл сопротивление дальнейшему улучшению recalcitrance. Сегодня узким местом остаётся способность придумать эксперимент, а завтра им могут стать чипы, энергия или получение новых данных.

В таком сценарии человек постепенно перестаёт быть самым быстрым участником процесса создания следующего интеллекта. И, как мне показалось, именно на этом этапе — при нынешней скорости научного прогресса — человек и получит возможность потерять контроль.

🐊 Матвей про ИИ в MAX