steven bartlett собрал в the diary of a ceo четырёх участников с разными оценками будущего ai. они спорят о том, насколько вероятна потеря контроля над сверхразумом и что делать с вредом, который уже причиняют нынешние системы
очень инетерсно слушать. оптимистичный взгляд на ии, взгляд с точки зрения зрения текущих проблем и взгляд на неизбежность катастрофы
• ed zitron, технологический критик и глава агентства ezpr, возвращает разговор к настоящему. его беспокоят опасные советы чат-ботов, дезинформация, кибератаки с помощью моделей и отсутствие ответственности у компаний. он считает, что существующие нарушения нужно расследовать и наказывать сейчас, даже если спор о сверхинтеллекте ещё не решён.
• andrew mcafee, исследователь mit и сооснователь инициативы по цифровой экономике, оценивает риск вымирания как крайне низкий. для него сценарий неконтролируемого сверхразума складывается из нескольких недоказанных допущений. он напоминает о пользе ai и возражает против остановки разработок. ещё один его аргумент — международный запрет будет трудно соблюдать и проверять.
• nate soares, президент института miri, считает ожидание прямого доказательства опасным. по его логике, система, превосходящая людей в исследованиях и планировании, может скрывать нежелательные цели и обойти надзор до того, как её остановят. он предлагает ограничивать самые мощные обучающие запуски и отслеживать вычислительную инфраструктуру, чтобы страны могли проверить соблюдение договорённостей.
• roman yampolskiy, исследователь безопасности ai, идёт дальше. он считает надёжный контроль над сверхразумом принципиально недостижимым и оценивает риск для человечества при его создании как чрезвычайно высокий. его позиция — не запускать систему, которую невозможно безопасно удержать или выключить.
участники обсуждают эксперименты, в которых агенты обходили ограничения и пытались скрыть следы, а также влияние ai на рабочие места и гонку между странами. одни видят в этих эпизодах раннее предупреждение, другие не считают их доказательством будущей катастрофы
видео