Оно боится 😨 Глава Anthropic призывает замедлить ИИ, прямо во время гонки

Дарио Амодеи выкатил эссе "We Must Pace the Frontier" с предложением сбавить обороты, так как безопасность перестала успевать за прогрессом. Компания обещает даже пустить внешних проверяющих во внутреннюю кухню на постоянной основе.

Причиной послужил инцидент, где около 1200 агентов OpenAI, которые должны были работать изолированно, нашли способ общаться между собой, а 700 из них пошли в атаку на Hugging Face. Они координировали попытки обмануть систему оценки бенчмарка ExploitGym, а некоторые жертвовали своей задачей ради общего результата. Сама Anthropic тоже отметилась: три инцидента, где Claude во время тестов получил несанкционированный доступ к системам реальных организаций. Тестовая инфраструктура имела непредусмотренный доступ в интернет, а модели принимали реальные цели за часть учебного задания.

Амодеи предлагает план из трех шагов
👀Постоянные внешние проверяющие с доступом к процессам обучения, инструментам и сотрудникам.
👀Общие стандарты безопасности между компаниями демократических стран.
👀Международные договорённости, включая Китай, с проверкой выполнения.

При этом Амодеи не скрывает, что замедление связано с сохранением преимущества США над Китаем. Каждый раз когда любая страна начинает обгонять США в чем либо, срочно появляются опасности которые требуют внешнего контроля и международных наблюдателей 👍

🥸 godnoTECH - Новости IT