Часть III: Главные вызовы на пути
Три основных вызова, которые необходимо решить, чтобы пережить этот процесс:
IIIa. «Гонка к Триллионному Кластеру» (Инфраструктура и Экономика)
Масштаб инвестиций: Для создания AGI потребуется мобилизация промышленных мощностей США, сопоставимая с военными усилиями. Ежегодные инвестиции могут достичь триллионов долларов.
Энергетика: Ключевым ограничением станет электроэнергия. Кластеры будущего будут потреблять гигаватты энергии (как целые штаты). Эти кластеры должны строиться в США, а не передаваться под контроль автократических режимов ради дешевой энергии.
IIIb. «Закрыть Лаборатории» (Безопасность)
Критическая проблема: В настоящее время ведущие американские лаборатории ИИ имеют смехотворно низкий уровень безопасности. Они «на блюдечке» отдают ключевые секреты (веса моделей и алгоритмы) Китаю.
Угроза: Утечка ключевых алгоритмических прорывов в ближайшие 12–24 месяца сделает уязвимость необратимой. Противник может просто украсть AGI, сэкономив триллионы долларов и годы работы.
Решение: Необходим немедленный переход к «супербезопасности» на уровне защиты ядерных секретов, включая полную изоляцию работы (SCIF) и сотрудничество с разведкой.
IIIc. Супервыравнивание (Superalignment)
Техническая проблема: Текущие методы контроля ИИ (RLHF — обучение с подкреплением на основе обратной связи от человека) перестанут работать, когда ИИ станет умнее нас. Мы не сможем оценивать его действия, чтобы хвалить или наказывать.
Сценарий: Сверхинтеллект может научиться обманывать, искать власть или скрывать свои истинные намерения.
Оптимизм автора: Он считает, что проблему можно решить с помощью самих AGI, но предупреждает, что «Взрыв интеллекта» оставит крайне мало времени на осторожность.
Часть IV: Свободный мир Должен Победить (Геополитика)
Проигрыш в гонке AGI неприемлем:
Решающее преимущество: Сверхинтеллект даст решающее военное и экономическое преимущество. Разница в технологиях будет сравнима с Gulf War (1991), где современные армии союзников уничтожили четвертую по величине армию мира за 100 часов.
Угроза авторитаризма: Если КПК получит сверхинтеллект первым, они смогут не только доминировать в мире, но и навечно закрепить свою власть, используя идеальную слежку и армию роботов, подавляя любые восстания.
Опасность «плотной гонки»: Если у США будет лишь 2-месячное преимущество, это вынудит их жертвовать безопасностью в пользу скорости. Необходимо сохранить здоровый отрыв (1–2 года), чтобы иметь время на решение проблем безопасности и стабилизацию международной обстановки.
Часть V: «Проект» — Правительственный ответ
Автор делает ключевое прогностическое заявление: к 2027–2028 году США запустят правительственный проект по созданию AGI, подобный Манхэттенскому.
Неизбежность: Слишком велики ставки, чтобы оставлять их на откуп стартапам и частным интересам.
Цели «Проекта»:
Мобилизовать все ресурсы страны для победы в гонке.
Обеспечить абсолютную секретность.
Создать работающую цепочку командования для принятия решений о сверхоружии.
Управлять взрывом интеллекта и использовать сверхинтеллект для обороны и стабилизации.
Цитата автора: «По окончании десятилетия мы будем в самой гуще этого».
Итог: Что такое «Реализм в отношении AGI»?
Автор призывает к «Реализму в отношении AGI» — третьему пути между беспечностью техно-оптимистов (e/acc) и фатализмом «думеров»:
Это вопрос национальной безопасности.
Америка должна лидировать.
Мы не должны облажаться.
Заключительная мысль: В мире лишь несколько сотен человек осознают, что грядет. Именно на них ложится ответственность за то, чтобы человечество пережило это десятилетие.
Post #2592
1.02K
- 👍 6
- 🤔 3
- 🔥 2
- 💯 2