Ведущие исследователи из OpenAI, DeepMind, Anthropic и даже SSI подписали совместную статью: индустрия должна срочно изучить и стандартизировать мониторинг цепочек рассуждений (chain-of-thought) в ИИ. Это — последний шанс понять, как модели принимают решения.
В статье говорится, что CoT-трейсы — единственное доступное окно в мышление модели: шаг за шагом, как она рассуждает. Но это окно может скоро закрыться. По мере роста мощности моделей и перехода к RL или энд-ту-энд-трейнингу цепочки исчезают или теряют интерпретируемость.
Авторы (включая Марка Чена из OpenAI, Илью Суцкевера из SSI, Хинтона (красного отца ИИ, нобелевского лауреата) и Шейна Легга из DeepMind) предлагают ввести метрику monitorability — насколько можно отследить ход мыслей модели. И привязывать её к решению о допуске модели в прод.
И что?
Бизнес. Компании, использующие ИИ в медицине, юрконсалтинге и финансах, получат чёткий критерий — можно ли объяснить поведение модели. Это снижает регуляторные риски и повышает доверие клиентов.
Инвесторы. Прозрачность reasoning-а станет новым стандартом качества, как «organics» для еды: стартапы с высокими CoT-оценками получат доступ к крупным корпоративным контрактам.
Рынок. Впервые с 2022-го игроки индустрии синхронизировались вокруг одной идеи — это может стать основой будущей сертификации AI-моделей, аналог ISO.
Post #1727
954


- 👍 2
- 👨💻 2