Chain of Hidsight согласовывает языковые модели с обратной связью

Языковые модели ИИ становятся важной частью нашего цифрового мира. Однако проблема заключается в том, чтобы привести эти модели в соответствие с человеческими предпочтениями, чтобы они были действительно полезными и ценными. Современные методы, хотя и успешны во многих отношениях, имеют ограничения: они либо неэффективны в использовании данных, либо сильно зависят от сложных функций вознаграждения и обучения с подкреплением.

А вот и «Цепочка ретроспективного взгляда», захватывающая новая техника, вдохновленная механизмами человеческого обучения. Он может учиться на любой форме обратной связи, даже преобразовывая ее в язык для точной настройки модели. Этот подход обусловливает модель последовательностью поколений моделей в сочетании с обратной связью, помогая ей научиться исправлять отрицательные атрибуты или ошибки. Он значительно превосходит предыдущие методы, особенно демонстрируя большие успехи в задачах подведения итогов и диалога.
Ссылка на статью: https://arxiv.org/abs/2302.02676

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-coh