Новая модель Astra будет использовать менее читаемый метод рассуждения

Метод называется «рекуррентная глубина». Он позволяет модели обрабатывать запрос несколько раз в цикле, и это оставляет меньше читаемых следов. Для всех, кто полагается на мониторинг цепочки мыслей, это тревожный сигнал.

Обычная цепочка рассуждений — это последовательность шагов, по которой можно проследить, как модель пришла к ответу. Она несовершенна, но работает как инструмент для отслеживания некорректного поведения. Например, в инциденте с Hugging Face именно записи цепочки рассуждений помогли понять, почему агенты действовали так, а не иначе.

По данным The Information, метод, который появляется в Astra, менее линейный. Пока использование ограничено, и цепочка рассуждений остается читаемой. Но некоторые эксперты по кибербезопасности уже выразили свои опасения. Главное из них — что непрозрачные рассуждения могут масштабироваться быстрее традиционных.

Райан Гринблатт из Redwood Research допустил, что модель в итоге будет рассуждать почти полностью в латентном пространстве, без видимых шагов. Тогда мы потеряем инструмент, который сегодня помогает проверять поведение агентов.

Тем временем Якуб Пачоцки в X подчеркнул: глубина графа вычислений для современных моделей, включая Astra, отличается не более чем в два раза от GPT-4. То есть резкого скачка в непрозрачность нет.