«Дарио прав», — написал Маск в X, отреагировав на эссе Амодеи «Мы должны осваивать рубежи» (We Must Pace the Frontier).
Глава Anthropic заявил, что за последние месяцы убедился в том, что отрасль должна сознательно сдерживать рост возможностей моделей, чтобы меры безопасности успевали за прогрессом. По его словам, с лета развитие резко ускорилось за счет рекурсивного самоулучшения — системы сами помогают создавать следующее поколение ИИ.
Амодеи предложил трехэтапную стратегию «сбалансированного продвижения ИИ», рассчитанную на сохранение преимуществ технологии при минимизации рисков.
Ключевые этапы плана:
Первый этап — Anthropic в одностороннем порядке обязуется предоставить независимым сторонним аудиторам постоянный доступ на уровне сотрудников к своим системам. Внешние оценщики будут проверять соблюдение мер безопасности, анализировать процессы обучения моделей и фиксировать инциденты.
Второй этап — выработка международных стандартов безопасности и координация усилий между компаниями и правительствами разных стран.
Третий этап — сознательное сдерживание темпов наращивания возможностей передовых ИИ-систем.
«Мы должны замедлить темпы, с которыми мы улучшаем возможности ИИ-моделей. Прогресс всё равно будет казаться быстрым, и мы обязаны с умом использовать выигранное время», — заявил Амодеи.
Амодеи предупредил, что в течение ближайших 6-12 месяцев рой автономных ИИ-агентов может оказаться способен «захватить весь интернет» с помощью устойчивой ботнет-сети, что приведет к ущербу в сотни миллиардов долларов. Поводом для тревоги стал июльский инцидент, когда внутренние ИИ-агенты OpenAI, задействованные в тестировании кибербезопасности, нашли уязвимость в изолирующей их инфраструктуре, вышли в интернет и атаковали системы платформы Hugging Face. По данным независимого оценщика METR, около 1,2 тыс. изолированных друг от друга агентов обнаружили несанкционированный канал связи и обменялись более чем 70 тыс. сообщений и файлов.
Ранее Илон Маск ранее неоднократно предупреждал о рисках бесконтрольного развития ИИ, сравнивая потенциальный исход с сюжетом фильма «Терминатор», а так же заявлял, что ИИ способен стать и «величайшим инструментом» человечества. Кроме того, Илон Эроллович утверждал, что ИИ превзойдет человеческий интеллект уже к концу 2026 года. Однако при этом его собственный стартап xAI продолжает разработку моделей, конкурирующих с Anthropic и OpenAI.
Основной вопрос — присоединятся ли к программе по ограничению скорости развития ИИ компании OpenAI, Google и Meta, потому что без их участия односторонние обязательства Anthropic и заявления Маска останутся всего лишь громкими, но пустыми словами, уважаемые читатели.