Агенты-помощники ИИ, такие как ChatGPT, в значительной степени зависели от контролируемой тонкой настройки и обучения с подкреплением на основе отзывов людей. Но у этого метода есть свой набор проблем — высокая стоимость, потенциальные предубеждения и ограничения на истинный потенциал этих агентов ИИ. Что, если бы существовал более эффективный и самодостаточный способ согласования результатов ИИ с человеческими намерениями?
Self-ALIGN — это многоэтапный процесс, который работает путем создания синтетических подсказок из большой языковой модели, увеличения разнообразия подсказок и использования краткого набора написанных человеком принципов для управления моделями ИИ. Применительно к базовой языковой модели LLaMA-65b это привело к созданию нового помощника ИИ, Dromedary, использующего менее 300 строк человеческих аннотаций. Dromedary не только затмевает несколько современных систем искусственного интеллекта, таких как Text-Davinci-003 и Alpaca, но и делает это на множестве тестовых наборов данных.

Ссылка на документ: https://arxiv.org/abs/2305.03047

Ссылка на код: https://mitibmdemos.draco.res.ibm.com/dromedary

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-dromedary.