Исследователи ИИ предупреждают о рисках снижения наблюдаемости в готовящейся модели OpenAI Astra. По данным The Information, в Astra могут использовать «рекуррентную глубину» — повторную обработку внутренних представлений, из‑за чего меньшая часть рассуждений отражается в текстовой цепочке. Это усложняет поиск лжи, обходов ограничений и разбор инцидентов. OpenAI не подтвердила и не опровергла детали, источник утверждает об ограниченном применении техники.
Райан Гринблатт из Redwood Research назвал такой подход серьезным риском: масштабирование «непрозрачного» рассуждения может лишить цепочку рассуждений практической ценности для надзора. Он призвал к раскрытию архитектуры Astra и независимой оценке. ⚠️
Главный научный сотрудник OpenAI Якуб Пахоцки ответил, что глубина вычислений Astra отличается от GPT‑4 не более чем в два раза и что компания сохраняет мониторинг рассуждений, хотя он «хрупкий».
Нейрокрипто
Post #2539
213
