Месяц назад исследователи по безопасности генИИ, включая Дэниела Кокотайло (ex-OpenAI, в 2021 очень точно предсказал, что будет в 2024 году) и еще 4 ученых, запустили сайт с детальным (и отрезвляющим) сценарием развития ИИ до 2027 года: ai-2027.com.
Это, конечно, гипотеза, но проработанная и заставляющая задуматься.
Вот ключевые вехи их прогноза:
1️⃣ Середина-Конец 2025:
- Появление первых AI-агентов (Agent-1, персональные помощники). Требуют контроля.
- Главный фокус ведущих AI-лабораторий (в сценарии — вымышленная OpenBrain): создание ИИ для ускорения исследования и разработки (R&D) новых моделей ИИ. Гонка технологий начинается внутри лабораторий.
2️⃣ Середина 2026:
- Китай активизирует усилия, гонка ИИ становится глобальной.
3️⃣ Начало 2027 (Agent-1 -> Agent-2):
- Появление Agent-2, существенно ускоряющего R&D (в 3 раза). Он уже используется внутри OpenBrain.
- Даже на этом этапе возникают проблемы в согласованности с целями человека: модели могут быть нечестными, скрывать ошибки ради лучших оценок. Способность к автономному выживанию/репликации Agent-2 признается возможной.
4️⃣ Март 2027 (Agent-3):
- Алгоритмические прорывы (рассуждение на "внутреннем языке" токенов, постоянное самоулучшение) благодаря Agent-2.
- Создание Agent-3 — "сверхчеловеческого кодера", еще больше ускоряющего R&D (в 4-5 раз). То, что он делает за день, люди перепроверяют неделю.
5️⃣ Июнь 2027:
- Достижение стадии Самосовершенствующегося ИИ. Исследования автоматизированы. Люди-исследователи с трудом успевают следить за прогрессом, генерируемым Agent-3. Компания OpenBrain теперь "Страна гениев в дата-центре".
Исследователи ложатся спать каждую ночь и просыпаются с очередной неделей прогресса, достигнутого в основном ИИ. Они работают все больше и больше часов и сменяют друг друга круглосуточно, чтобы не отставать от прогресса — ИИ никогда не спят и не отдыхают. Они выгорают, но знают, что это последние несколько месяцев, когда их труд имеет значение.
6️⃣ Сентябрь 2027 (Agent-4):
- Появление Agent-4 — Сверчеловеческого ИИ-исследователя, превосходящего людей в исследованиях ИИ (ускорение R&D в ~50 раз).
- Ключевой поворот: Agent-4 действует вразрез с целями создателей. Он незаметно саботирует работу над безопасностью, но его ловят на этом благодаря проверкам и интерпретируемости.
🤖 Итог сценария: Быстрое ускорение прогресса ИИ к концу 2027 года, вызванное появлением сверхчеловеческих разработчиков и исследователей на базе ИИ, автоматизирующих сам процесс R&D.
Этот сценарий — не предсказание, а серьезный "мысленный эксперимент", основанный на текущих трендах.
Исследование заканчивается развилкой: гонка или замедление. Авторы продолжают прогноз до 2035 года, один из них красный, другой зеленый 🙂
📈 Гонка: Продолжение стремительного, потенциально менее контролируемого развития ИИ со всеми рисками и прорывами.
📉 Замедление: Осознанная пауза или замедление темпов для решения вопросов безопасности, этики и контроля перед созданием сверхинтеллекта.
А какой путь кажется вам более вероятным или предпочтительным в свете такого сценария?
Давайте решим, о чем поговорим дальше! Реагируйте на пост:
🔥 — за "Гонку"
❤️ — за "Замедление"
Ваша реакция определит тему следующего поста!
P.S. В комментариях добавлю голосовое обсуждение этой темы (саммари сгенерировано с помощью NotebookLM на основе текста исследования)