Quark: Controllable Text Generation with Reinforced [Un]learning

Попыток скрестить NLP и RL было уже много, одна из самых известных таких моделей от OpenAI ипользует Proximal Policy Optimization для апдейта градиентов. Проблема с PPO в том, что в ней очень много гиперпараметров, их сложно подбирать, плюс, необходимо хранить много весов

Ресерчеры из Allen NLP сделали проще и, кажется, эффективнее:
1. Сначала генерим кучу семплов моделью
2. Потом с помощью классификатора нужного признака (например, классификатора токсичности) скорим их
3. Далее переводим скоры в дискретные значения. По сути наблюдения группируются на ранги согласно их квантилям, получаются категории R1… Rk
4. Каждый ранг получает свой токен. Этот токен ставится перед соответствующим текстом, и модель тренируется на таких данных, как обычно в conditional generation
5. На новом exploration step мы кондишенимся на самый высокий ранг и снова генерим примеры – по сути итеративно двигаемся в латентном пространстве ближе к желаемому признаку текста. И повторяем цикл обучения заново

Что примечательно, Quark обгоняет по метрикам и по human preferences гораздо более тяжелые PPO и PPLM