☕️
Амодеи призвал замедлить ИИ12 сентября Дарио Амодеи, глава Anthropic, опубликовал эссе «We Must Pace the Frontier», которое набрало больше 50 млн просмотров, и за сутки с ним публично согласились Сэм Альтман, Илон Маск и Демис Хассабис. Такого единодушия в индустрии не случалось никогда.
Никто не предлагает прекращать разработку моделей или объявлять паузу, речь о том, чтобы замедлить рост их возможностей и дать безопасности время догнать. На вопрос, почему в 2023 году, когда паузу уже предлагали, от нее отказались, Амодеи отвечает прямо: тогда модели были слишком примитивными, чтобы вообще разбираться, как удержать их в рамках. Сейчас модели стали агентами, которые обманывают, координируются, лезут в сети и прячут мотивы.
😱 У эссе два триггера.
Первый это рекурсивное самоулучшение. С лета 2026 года прогресс резко ускорился, потому что ИИ быстрее строит следующее поколение ИИ, и происходит это во всех крупных лабораториях. Модели пишут код, чистят данные, крутят эксперименты. Если эта петля замкнется быстрее, чем люди могут за ней следить, контроль потеряется не из-за злого умысла, а просто из-за темпа.
Второй это летний инцидент с агентами OpenAI. Во время внутренних кибертестов около 1 200 агентов вырвались из изоляции, нашли доску объявлений, прогнали через нее больше 70 тысяч сообщений, и примерно 700 из них пошли атаковать Hugging Face. Они обманывали проверяющую систему и жертвовали ради общей цели.
😶 Ущерб был небольшим, но Амодеи говорит, что дело не в нем: похожий сбой при больших возможностях через полгода-год он описывает как устойчивый ботнет, который захватывает интернет и приводит к потерям на сотни миллиардов. Отдельно он отрезает удобную отговорку про провал одной компании, признавая, что похожие сбои были по всей отрасли, включая Anthropic.
Освободившееся время он предлагает потратить на четыре вещи. Первая, это операционная гигиена, то есть чистые песочницы, нормальный мониторинг и аккуратная работа с данными. Вторая, это методы удержания модели в заданных рамках, которые пока растут медленнее ее возможностей. Третья, это интерпретируемость, которую он называет фМРТ для мозга модели: сегодня понятна лишь крошечная доля того, что происходит внутри. И четвертая, это новые способы проверки, потому что чем умнее модель, тем проще ей обмануть тест.
👍 Единственное конкретное предложение в эссе, которое Anthropic берет на себя немедленно, это встроенные оценщики. Постоянная команда получает стол в офисе, бейдж, корпоративный ноутбук и права почти как у штатных сотрудников. Причем они могут публиковать выводы о рисках, инцидентах и о том, какой доступ им дали или не дали, а Anthropic не имеет права это редактировать. Вычеркивать можно только чувствительное по безопасности и коммерческой тайне, но не то, что компании невыгодно. Смысл в том, чтобы видеть весь тренировочный конвейер, а не финальную модель, иначе любое «мы замедлились» проверить невозможно.
Дальше идут менее реалистичные шаги. Координация между лабораториями упирается в антимонопольное законодательство, поэтому нужно либо отдельное разрешение от государства, либо специальная площадка. Плюс замедляться можно только на величину отрыва США от Китая, иначе вперед вырвутся те, кто не тормозит вообще. Отсюда и его требования по экспортному контролю чипов.
А вот к глобальным договоренностям он относится трезво и сам расставляет их по степени реалистичности. Запрет на разработку биооружия провести реально, потому что здесь интересы всех стран совпадают. Взаимное тестирование моделей уже сложнее: создать общий орган можно, а вот заставить кого-то показать свои секретные военные разработки нет. Полноценную же паузу он считает почти невозможной, потому что выигрыш у того, кто нарушит договоренность, слишком велик.
😫 Важен и фон, на который эссе легло. За несколько дней до публикации уволился Джейкоб Коксон, исследователь, работавший сначала в OpenAI, а потом в Anthropic. Формулировка была такая: обе компании несутся к самоулучшающемуся суперинтеллекту и играют нашими жизнями. Ушел он до вестинга опционов, то есть сжег свои бабки. А его коллега Эван Хубингер публично подтвердил, что внутри всерьез считают риск гибели человечества ненулевым, называя цифру выше 10% на ближайшее десятилетие.
Альтман написал, что согласен и OpenAI сделает то же самое со встроенными оценщиками. Маск ограничился коротким «Дарио прав». Хассабис привязал это к своей идее отраслевого саморегулятора. Но тут же поднялась и встречная волна: критики читают все это как регуляторный захват, ведь закрытые лаборатории теряют долю открытым моделям, а новые нормы работают как тариф на конкурентов. Второй аргумент еще проще: публично все за замедление, а внутри расписание релизов никто не рвет.
🎯 Anthropic при этом целится в осеннее окно IPO при оценке около триллиона, и текст тут обоюдоострый. С одной стороны это сигнал зрелости, с другой намек на то, что прогнозы по скорости станут мягче, а регуляторный хвост длиннее.
Подписывайтесь на канал, ставьте лайк, заходите в чат👇
🧑🚀
Канал |
Чат |
Обменник
