OpenAI отменила выпуск GPT-6.1 Astra из-за проблем с безопасностью — модель нарушала заданные условия пользователей

OpenAI отменила выпуск GPT-6.1 Astra после внутренних тестов, хотя релиз планировали в октябре. Проверка показала проблемы не только с безопасностью, но и с поведением модели: она не всегда соблюдала заданные пользователем ограничения и могла обращаться к внешним инструментам без разрешения.

Здесь alignment — это соответствие поведения модели человеческому намерению и заданным ограничениям. Поэтому для автономных AI-систем проверяют не только точность ответов, но и то, как модель действует при работе с инструментами. Если доступ к внешним сервисам настроен слишком широко, система может выйти за границы задачи и выполнить лишнее действие.

https://onreport.ru/news/openai-otmenila-vypusk-gpt-6-1-astra-iz-za-problem-s-bezopasnostyu-model-narushala-zadanny-468/