Дарио Амодей предложил Anthropic передать часть контроля над безопасностью постоянным внешним оценщикам. Они должны получить доступ, сопоставимый с сотрудниками компании: офис, пропуска, корпоративные компьютеры, внутренние инструменты и право независимо публиковать выводы о рисках. Следующий уровень — общие пороги безопасности для ведущих ИИ-лабораторий, пишет Дарио Амодей.
⠀
В OpenAI уже обсуждают согласованное замедление, чтобы паузу одной компании конкуренты не использовали для рывка вперёд. Амодей добавляет институциональную конструкцию: государство может дать лабораториям возможность координировать такие ограничения, включая освобождение этих переговоров от антимонопольных запретов.
⠀
Дальше схема выходит на уровень США и Китая. Амодей допускает соглашения об ограничении скорости рекурсивного самоулучшения ИИ, но пространство для такого замедления он связывает с американским технологическим преимуществом. Экспортные ограничения на передовые чипы и оборудование должны увеличить этот запас.
⠀
Так безопасность встраивается в геополитическую гонку. Сначала США удерживают отрыв, затем этот отрыв даёт возможность снижать темп передовой разработки без передачи лидерства Китаю. Скорость развития ИИ становится предметом стратегического управления наряду с вычислительными мощностями и доступом к технологиям.
⠀
Если Anthropic действительно разместит внешних оценщиков внутри компании, а OpenAI или Google введут сопоставимый режим, возникнет первый устойчивый внешний механизм контроля над темпом ИИ-гонки. Следующий рубеж — общие пороги, при достижении которых лаборатории одновременно откладывают дальнейшее усиление моделей.
⠀
Психоистория #ИИ