😱 Мысли ИИ становится сложнее читать и контролировать

Об этом рассказал исследователь OpenAI Ноам Браун в новом часовом интервью. Дело в том, что цепочки рассуждений в том числе используют для контроля: смотрят, как модель пришла к ответу, и отмечают подозрительное поведение. Но, по словам Брауна, разрабы уже видят, что эта прозрачность ухудшается и модели всё лучше прячут свои мысли. В компании сейчас пытаются понять, почему это происходит и как-то изменить.

Также в интервью обсудили недавнее решение задачи тысячелетия, рекурсивное самоулучшение и то, как вообще понять, что модель действительно безопасна.

✖️ xCode Journal