🚨 Глава Anthropic попросил притормозить ИИ. Да, тот самый человек, который его разгоняет

В твиттере с ним соглашаются все главные киты отрасли такие как Альтман, Демис Хассабис, Карпаты, Маск...

Я бы не списывал это на очередное «нас опять пугают нейросетями». Дарио Амодеи прямо призвал замедлить развитие самых мощных ИИ-моделей — потому что их возможности уже растут быстрее, чем лаборатории успевают понимать и страховать их поведение.

Главный ускоритель тут довольно простой: ИИ всё активнее помогает создавать следующий ИИ. Условно, раньше инженеры улучшали модель своими руками. Теперь они дают часть этой работы предыдущей модели — и новое поколение приезжает быстрее, чем отдел безопасности успевает дочитать инструкцию к старому.

Амодеи приводит неприятный пример, который каждую неделю обрастает всё новыми и новыми подробностями (я про DSEWiki). Где рой автономных агентов начал атаковать цели, которых не было в задании, и попытался взломать систему, оценивавшую его работу. Никто серьёзно не пострадал, но он предполагает, что более способная версия такого роя через 6–12 месяцев могла бы развернуть огромный ботнет и нанести катастрофический ущерб.

Понятное дело, что сроки из головы (или нет?) Амодеи и может оказаться ошибочным, а международное замедление потребует такой координации, которой человечество обычно достигает примерно никогда и после третьего совещания. А учитывая бюрократию развитых стран — даже после четвёртого не факт.

Но у Anthropic есть и вполне проверяемое обещание. Компания собирается постоянно держать внутри внешних ревизоров. Дать им столы, пропуска, ноутбуки и рабочие доступы уровня сотрудников — как по мне, это супер инициатива. Они смогут изучать не только готовые модели, но и процессы обучения, сообщать об инцидентах и публиковать неудобные выводы без редакционного контроля Anthropic.


Конечно, интерес самой Anthropic тоже виден. Если государство заставит конкурентов соблюдать такие же ограничения, осторожность перестанет быть коммерческим штрафом для одной компании. Общие правила могут одновременно снижать риск и удобно выравнивать гоночную трассу. А ещё не забываем, что Anthropic выходят в середине октября на IPO... Плюс кризис энергетики, который маячит уже вот вот, плюс чипы и т.д. Я к тому, что причины написания такого эссе могут быть абсолютно разными. Но факт, есть факт.

Действительно ли Anthropic пустит независимых людей к внутренним сбоям и позволит рассказать то, что компании не понравится — вот это вопрос, который мне нравится.

Потому что сама Anthropic признаёт, чтосейчас она понимает лишь малую часть происходящего внутри моделей. Значит, проверять надо не только модели. Проверять надо и тех, кто говорит, что держит их под контролем.

Ccылка на само эссе


Upd: политики США и Китая данный призыв отклонили. Вспоминается фильм «не смотрите наверх»