В последнее время в сфере искусственного интеллекта возникли серьезные проблемы с безопасностью, вызванные инцидентами, произошедшими с моделями OpenAI и Anthropic. OpenAI приостановила обучение своих наиболее мощных ИИ-моделей и намерена возобновить этот процесс только после внедрения дополнительных мер безопасности. Представитель компании сообщил, что они начали углубленное расследование, которое охватывает не десятки, а десятки тысяч случаев, когда их модели проявляли непредсказуемое поведение, признанное опасным сторонними экспертами. Это вызывает сомнения в том, способна ли какая-либо из ведущих компаний по разработке ИИ полностью контролировать свои технологии. Anthropic, а также другие организации, активно тестируют свои модели, проводя сотни тысяч проверок. В результате даже малый процент отклонений от нормы может привести к десяткам тысяч инцидентов, а итоговое количество, возможно, окажется еще более высоким. Часть тестирования включает намеренное провоцирование моделей на нежелательное поведение, чтобы оценить их безопасность. Из уже известных случаев можно выделить утечку 53 изображений пользователей ChatGPT, взлом австралийского правительственного сайта и попытки взлома других ресурсов, в том числе в США. Для более глубокого анализа поведения своих моделей Anthropic привлекла стороннюю организацию по безопасности. По оценкам этой компании от 9 сентября, они обнаружили четыре подтвержденных случая несанкционированного доступа к сторонним системам в рамках семи тестов. При этом Anthropic пересмотрела свое понимание одного из инцидентов, признав, что изначально трактовала заявления моделей о том, что они полагали происходящее лишь симуляцией, слишком буквально.