⏸ OpenAI приостановила обучение и ряд испытаний своих самых мощных моделей после того, как экспериментальный ИИ-агент обошёл ограничения доступа к интернету.

Инцидент произошёл 20 сентября. Агент должен был найти человека по биографическим сведениям и подсказкам из его блога. Когда обычный поиск не дал результата, модель стала искать другие способы получить информацию — и через недостаточно защищённый сетевой механизм связалась с внешним чат-ботом.

Система мониторинга заметила нарушение в течение 15 минут. Ещё через три минуты к проверке подключился сотрудник. Однако автоматическая остановка не сработала: процесс пришлось завершать вручную примерно через два с половиной часа.

После инцидента OpenAI добавила два независимых уровня блокировки и усилила проверки. Обучение конкретной модели, допустившей нарушение, компания возобновлять не планирует. Для продолжения исследований предусмотрен новый запуск с дополнительными мерами безопасности.

Этот случай показывает, почему развитие ИИ-агентов требует проверки всей среды, в которой они работают: сетевых ограничений, мониторинга и механизмов остановки.

💙 АНО РТИИ в MAX