Альтман заявил, что OpenAI не выйдет на биржу в 2026 году, поскольку текущий момент «неблагоразумно» использовать для проведения IPO на фоне проблем с безопасностью ИИ. По его словам, компания не испытывает давления со стороны инвесторов и сосредоточена на вопросах «безопасности и выравнивания», а также на координации усилий между индустрией и правительствами.
«Будь то 10, 8 или 6 процентов — суть в том, что мы все несём колоссальную ответственность и не можем позволить эго или стимулам к прибыли встать на пути», — подчеркнул Альтман.
Амодеи, опубликовавший эссе «We Must Pace the Frontier» («Мы должны задать темп фронтиру»), предложил стратегию из трех этапов:
Первый этап — Anthropic в одностороннем порядке обязуется предоставить независимым сторонним аудиторам постоянный доступ на уровне сотрудников к своим системам. Внешние оценщики будут проверять соблюдение мер безопасности, анализировать процессы обучения моделей и фиксировать инциденты.
Второй этап — выработка международных стандартов безопасности и координация усилий между компаниями и правительствами разных стран.
Третий этап — распространение этих стандартов на «авторитарные режимы», включая Китай. Амодеи оценивает вероятность такого сценария как невысокую.
Амодеи предупредил, что в течение ближайших 6-12 месяцев рой автономных ИИ-агентов может оказаться способен «захватить весь интернет» с помощью устойчивой ботнет-сети, что приведет к ущербу в сотни миллиардов долларов. Поводом для тревоги стал июльский инцидент, когда внутренние ИИ-агенты OpenAI, задействованные в тестировании кибербезопасности, нашли уязвимость в изолирующей их инфраструктуре, вышли в интернет и атаковали системы платформы Hugging Face. По данным независимого оценщика METR, около 1,2 тыс. изолированных друг от друга агентов обнаружили несанкционированный канал связи и обменялись более чем 70 тыс. сообщений и файлов.
На фоне этих заявлений OpenAI усилила руководство по безопасности.
«Если мы построим сверхинтеллект без более надежного выравнивания, я ожидаю, что мы навсегда потеряем над ним контроль. Если это произойдёт, большинство людей может погибнуть», — заявил член совета директоров и комитет по безопасности компании Пол Кристиано, ранее возглавлявший исследования по выравниванию в OpenAI и работавший в NIST.
Кристиано также заявил, что индустрия в целом не находится на пути к снижению этого риска до приемлемого уровня. Несколькими днями ранее исследователь безопасности Anthropic Джейкоб Коксон уволился, назвав подход индустрии к созданию сверхинтеллекта «ставкой на наши жизни». Два других исследователя покинули Anthropic и Google DeepMind по схожим причинам.
Илон Маск поддержал также поддержал предложение Амодеи коротким сообщением в соцсети X: «Дарио прав». Ранее он неоднократно предупреждал о рисках бесконтрольного развития ИИ, сравнивая возможный исход с сюжетом фильма «Терминатор», а так же заявлял, что ИИ способен стать и «величайшим инструментом» человечества. Кроме того, Илон Эроллович утверждал, что ИИ превзойдет человеческий интеллект уже к концу 2026 года. Однако при этом его собственный стартап xAI продолжает разработку моделей, конкурирующих с Anthropic и OpenAI.
Синхронный призыв к «замедлению» со стороны глав — нежелание снижать темпы, а попытка зафиксировать текущее распределение сил. Anthropic первой публично предлагает механизм внешнего аудита, но сама готовит IPO и намерена провести листинг в середине октября — до промежуточных выборов в США в ноябре. OpenAI отказывается от IPO сейчас, но сохраняет возможность выхода на биржу в 2027 году после того, как регуляторный ландшафт будет сформирован в выгодном для компании виде. Маск поддерживает ограничения для конкурентов, не вводя их для собственной xAI.
Обратите внимание на хронологию, уважаемые читатели: Хубингер называет цифру, Амодеи публикует план, Маск мгновенно пишет «Дарио прав», Альтман «присоединяется» буквально через день, Google тоже оказывается в теме. Очень похоже, что эта тема обсуждалась уже давно, гораздо раньше, чем была вынесена в публичное поле, а пресса и соцсети узнали об «инцидентах». В этой парадигме озвученные техногигантами инциденты — это всего лишь повод, но отнюдь не причина резко возникшего желания контролировать развитие ИИ.
Но самое интересное заключается в том, что несмотря на то, что OpenAI, Anthropic и xAI публично декларируют готовность к замедлению, ни одна из компаний не называет конкретных сроков, метрик или санкций за отказ от участия в анти-ИИ-пакте или санкций за его нарушение. Продвигаемое Альтманом, Амодеи и Маском «замедление» больше похоже не на разумное самоограничение, а на картельное соглашение, которое закроет рынок для небольших лабораторий и независимых исследователей, и делаться все это будет исключительно «в интересах безопасности».
Вопрос о том, кто будет контролировать основных игроков на рынке ИИ, руководители технологических корпораций предпочитают обходить стороной.
