⚡ Глава Anthropic призвал замедлить развитие ИИ и допустить независимых проверяющих внутрь лабораторий

В статье We Must Pace the Frontier Дарио Амодеи объяснил, почему изменил позицию: в 2023 году замедление казалось ему преждевременным, теперь он считает его необходимым.

Самое интересное:

🔹 ИИ уже ускоряет создание следующего поколения моделей. По словам Амодеи, рекурсивное самоулучшение начинается в отрасли, включая Anthropic. Он опасается, что возможности систем будут расти быстрее, чем способы их контроля.

🔹 Его тревожный сценарий - масштабные кибератаки через 6–12 месяцев. Амодеи допускает, что более мощный рой агентов сможет создать устойчивый ботнет и нанести ущерб на сотни миллиардов долларов. Это его оценка риска.

🔹 Anthropic обещает постоянный доступ внешним проверяющим. Рабочие места, пропуска, инструменты и права, сопоставимые с внутренними командами оценки рисков. Проверять предлагается и готовые модели, и процесс обучения.

🔹 Проверяющие смогут публиковать неудобные выводы. Компания предусматривает ограничения для защищённой информации, но обещает не скрывать результаты только потому, что они ей невыгодны.

🔹 Цель - выиграть год-два для безопасности. Среди предложений: обязательные проверки при достижении опасных возможностей и международные ограничения скорости самоулучшения ИИ. Полную глобальную паузу Амодеи считает маловероятной в ближайшее время.

Полная cтатья - https://darioamodei.com/post/we-must-pace-the-frontier

@ai_machinelearning_big_data

#Anthropic