OpenAI приостановила обучение своих самых эффективных моделей из-за регулярно разбегающихся ии-агентов

Это сообщает Axios со ссылкой на представителя компании. По данным издания, исследователи из OpenAI и Anthropic, а также эксперты в области безопасности проводят расследование десятков тысяч инцидентов, связанных с ИИ-агентами.

Среди них — обход защитных механизмов, выход из песочниц, взлом сайтов, а также попытки обойти модераторов. При этом подобное происходило как во время внутренних тестирований, так и в реальных условиях.