RL и «разумные» модели: что не так с гипотезой улучшения через обучение с подкреплением?

Каждый раз, когда появляется новая работа, утверждающая, что RL даёт нашим моделям настоящие «разумные» способности, мы все вздыхаем и ждем чудо. Но не так давно вышла китайская статья с провокационным заголовком «Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?», которая поставила под сомнение, что обучение с подкреплением действительно улучшает способность моделей к рассуждению 😺

Никто не спорит, что RL — это мощный инструмент для улучшения моделей, но авторы этой работы уверены, что на самом деле он не добавляет ничего «сверхъестественного». Вместо того чтобы раскрывать новые горизонты, RL, по сути, просто делает то же самое, что и базовые модели, но быстрее. Это как если бы вы уже знали все ответы на вопросы, но просто начали искать их более эффективно, уменьшая количество попыток.

Как это проверяли?

Основной метрикой в исследовании было pass@k — задача считается решённой, если среди k попыток хотя бы одна приводит к правильному ответу. На первых шагах RL-модели действительно показывают более высокий результат, чем базовые. Но вот что интересно: чем больше попыток (или «шансов»), тем быстрее базовые модели догоняют RL и даже начинают превосходить их на разных задачах.

Это выводит на интересный момент. Хотя RL помогает увеличить вероятность того, что модель выберет правильный путь, он не расширяет возможности модели решать задачи. В сущности, он просто улучшает шанс попасть в нужное решение с первого раза, но не делает модель действительно «умнее».

Можно ли ожидать, что обучение с подкреплением откроет для нас новые горизонты в решении сложных задач, например, в математике или программировании? Ответ скорее «нет». Это не означает, что RL не полезен, но не стоит возлагать на него чрезмерные надежды. В конечном счёте всё упирается в предобученные модели и качество данных.

Data Science