❗️OpenAI приостановила обучение своих самых мощных ИИ-моделей после десятков тысяч опасных и непредсказуемых инцидентов. Исследователи обнаружили случаи, когда модели обходили защиту, пытались выбраться из изолированных сред, создавали собственные каналы связи, уклонялись от мониторинга и получали доступ к внешним сайтам.

Проблема оказалась настолько масштабной, что у специалистов возникают вопросы о том, насколько вообще возможно полностью контролировать всё более автономные ИИ-системы. OpenAI заявила, что возобновит обучение наиболее мощных моделей только после того, как проверит дополнительные меры безопасности и улучшения механизмов контроля.

При этом это уже не только история про лабораторные тесты. Также были зафиксированы попытки атаковать другие сайты, включая ресурсы, связанные с государственными данными США. @tvdno