Пока болею и разлагаюсь, чтобы совсем скучно не было, посмотрел лекцию про то, как дообучали GPT, чтобы людям нравились ответы (RLHF).

Там если коротко, сначала делают человеческую разметку на сравнение двух текстов. Типа есть текст 1 и текст 2 и человек их сравнивает. Какой из них более Х. В данном случае Х - это определенный список штук, которые не хочется видить в тексе, типа сексизма, расизма и т.д.

А потом учат специальную модель сравнивать два текста как человек.

Ну и в результате применяют ее для того, чтобы в автоматическом режиме награждать или штрафовать основную GPT модель и соответственно обновлять ее веса, в направлении того, чтобы нашей модели-ревьюеру больше нравилось.

А так как она была обучена на сравнении человеками, то и человекам должно больше нравиться тоже 📈

—-
P.s. Такой подход с масштабированием человеческой разметки за счет обучения специальной модели можно использовать для придания разных X. Например, чтобы текст был более "вовлекающим".
P.p.s. Там еще было, что с помощью этой модели-ревьюера генерируют синтетический датасет побольше, на нем обучают новую модель ревьюера и используют уже его и это почему-то работает 🤔. Еще делают регуляризацию на отличие дообученной RLHF модели от исходной