OpenAI прямо сейчас приостановила все обучение мощных моделей из-за нового инцидента

https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot

20 сентября агент решал поисковую задачу в песочнице (естественно, без доступа к интернету). Прокси блокировал исходящие веб-запросы, но DNS-резолвер не был так же закрыт, и агент стал передавать вопросы внешнему чат-боту, кодируя их в DNS-запросах, и таким образом получал ответы из сети.

Компания объявила, что обучение будет приостановлено до тех пор, пока они не убедятся, что уязвимость закрыта, и не проведут дополнительный red-teaming. Когда обучение возобновится, OpenAI начнут новый запуск с улучшенным элайментом, а эту конкретную модель дообучать не будут.