Старые модели писали лучше? Нет, они списывали

Rahul Sonwalkar из Julius AI задал вопрос, который многие думают, но стесняются произнести вслух: ранние языковые модели генерировали тексты качественнее, чем нынешние. Ностальгия по GPT-3.5, если хотите.

Исследователь Aidan McLaughlin ответил: те модели не «писали лучше». Они тупо воспроизводили куски тренировочных данных. То есть когда вам казалось, что модель выдаёт гениальный абзац — она с высокой вероятностью просто копипастила чей-то текст из датасета.

И вот тут интересный поворот. Современные модели натаскивают как раз на то, чтобы не делать этого. RLHF, фильтрация, деконтаминация — всё ради того, чтобы модель генерировала, а не цитировала. Результат звучит «хуже»? Возможно. Но это хотя бы результат работы модели, а не ctrl+c из интернета.

Люди скучают по качеству текста, которое было украдено у них же 😏