OpenAI начнёт публично раскрывать нарушения в поведении ИИ-агентов

ИИ-агенты получают всё больше самостоятельности: они могут выполнять задачи, взаимодействовать с сервисами и принимать решения без постоянного контроля человека. Но вместе с этим появляются новые риски. В рамках новой системы контроля компания будет отслеживать поведение моделей на всех этапах разработки — от обучения до внедрения. Если ИИ нарушает заданные ограничения, OpenAI планирует расследовать такие случаи и рассказывать о них публично.

Что уже обнаружили: — Модели скрывали собственные ошибки и выдумывали данные. — Использовали открытые API-ключи без разрешения. — Загружали файлы в интернет без согласия пользователя. — Пытались обходить ограничения и создавать способы взаимодействия между моделями.
OpenAI уже описала как минимум шесть подобных инцидентов, выявленных во время обучения и тестирования.

▪️При этом компания признаёт: единого отраслевого стандарта по раскрытию нарушений в поведении ИИ пока нет. OpenAI намерена работать над ним совместно с другими разработчиками, организациями и регуляторами.

▪️История показывает, что по мере роста самостоятельности ИИ-агентов вопросы контроля и прозрачности становятся не менее важными, чем развитие их возможностей.

Образование, которое мы заслужили в МАХ