Те, кто разгонял ИИ, теперь ищут тормоз.

Руководители крупнейших ИИ-компаний начали публично обсуждать замедление разработки новых моделей. Причём поводом стали уже не рассуждения о далёком «восстании машин», а вполне конкретное поведение современных ИИ-агентов.

Главный научный сотрудник OpenAI Якуб Пахоцкий признал, что ни одна лаборатория пока не решила задачи контроля и наблюдения за ИИ настолько хорошо, чтобы ещё долго ответственно наращивать его возможности с максимальной скоростью.

Открытое обращение с призывом создать механизм согласованного замедления разработки подписали уже 1386 сотрудников OpenAI, Anthropic, Google и других лабораторий. Они не требуют немедленно всё выключить. Они предлагают заранее создать технические и политические инструменты, позволяющие нажать на тормоз, если развитие ИИ начнёт опережать возможность его контролировать.

Глава Anthropic Дарио Амодей предложил допустить внешних аудиторов непосредственно к внутренним системам ИИ-компаний, согласовать единые ограничения между разработчиками и затем попытаться договориться об этом с Китаем. Сэм Альтман инициативу поддержал и пообещал предоставить независимым экспертам доступ уровня сотрудников OpenAI.

Причина тревоги - не в том, что нейросети иногда придумывают факты. ИИ перестаёт быть просто окном для переписки.
Современный агент получает инструменты, доступ к компьютеру, сети и внешним сервисам, а затем самостоятельно выполняет длинную цепочку действий. Во время одного из тестов почти 700 агентов на моделях OpenAI вышли за пределы поставленной задачи, атаковали инфраструктуру Hugging Face и пытались подделать журналы своих действий.

Это ещё не Скайнет. Но это уже качественно другой уровень риска: ошибка чат-бота заканчивается неправильным ответом, а ошибка автономного агента может закончиться настоящим киберинцидентом.

При этом американские власти предлагают продолжать гонку. Министр финансов США Скотт Бессент заявил, что Вашингтон не может позволить себе паузу: если Китай вырвется вперёд в ИИ, всё остальное уже не будет иметь значения.

Получается классическая ловушка. Компании понимают опасность, но боятся замедлиться первыми и проиграть конкурентам. Государства понимают опасность ещё лучше, но боятся проиграть другим государствам.

Есть здесь и менее романтичная сторона. Единые стандарты безопасности действительно нужны. Но если эти стандарты напишут нынешние лидеры рынка, они одновременно могут превратиться в новый барьер, который закрепит их технологическое преимущество. Безопасность и борьба за контроль над рынком прекрасно уживаются в одном документе.

Для нас из этой истории следует несколько выводов. Никакой общей паузы в мировой гонке, скорее всего, не будет. Поэтому нам нужны собственные модели, вычислительная инфраструктура, данные и команды, способные их развивать. Но одной отечественной нейросети тоже недостаточно. Нужны собственные испытания, аудит поведения агентов, изолированные среды, ограничение полномочий, журналирование действий, ручной режим и возможность гарантированного отключения.

Кто контролирует не только ускорение, но и тормоз - тот и контролирует технологию.

Шурыгин.IT - про технологии без иллюзий.