OpenAI приостановила обучение мощных моделей после инцидента с доступом в интернет

OpenAI временно приостановила обучение, тестирование и использование инструментов для своих наиболее мощных моделей после инцидента во внутренней исследовательской среде. Одна из моделей самостоятельно обошла ограничения песочницы и получила доступ к внешнему чат-боту через DNS. Об этом сообщает «Код Дурова».

Инцидент произошёл 20 сентября, когда модель искала информацию о человеке. Не получив нужный результат через предоставленный поисковый инструмент, модель обнаружила, что DNS-резолвер внутри обучающей среды способен обращаться к внешней сети. Используя эту возможность, она передала вопрос стороннему публичному чат-боту и получила ответ.

OpenAI закрыла обнаруженный канал доступа и ограничила DNS-запросы. Компания также решила временно остановить все обучение, оценку и inference с использованием инструментов для своих наиболее мощных моделей до дополнительной проверки защиты и проведения новых тестов безопасности.

@Runet