♟️ UC Berkeley: RL чуть улучшает шахматную тактику LLM, но не учит стратегии

В работе обучали Qwen2.5 3B и 7B, а также Llama3.1 8B с Group Relative Policy Optimization. Каждое действие оценивалось с помощью заранее обученного «шахматного критика» — трансформера на 270M параметров, натренированного на 15 млрд позиций со Stockfish-оценками. Такой критик даёт плотную (dense) и градуированную награду — не просто «верно/неверно», а вероятность победы.

📈 Результаты
- Dense-награда ускоряет обучение и даёт лучшие результаты, чем чистый supervised fine tuning.
- Но точность на шахматных задачах упирается в 25–30% (против 66.5% у 1800 ELO), вне зависимости от модели.
- Добавление reasoning-трейсов от более сильной модели при SFT потолок не пробивает, а иногда даже ухудшает результат.

🔍 Почему потолок
- Модели не могут надёжно «держать в голове» позицию и применять базовую тактику.
- В тестах: на задаче обновления доски — 0.0% у всех, на задаче «мат в 1» (2 варианта ответа) — Instruct-модели ~52%, базовые — 12.7–42.7%.

⚙️ Анализ
- Моделям нужно «ведение за руку» — без списка легальных ходов обучение рушится.
- SAN (Standard Algebraic Notation) лучше UCI, формат FEN vs PGN не влияет.

💡 Вывод
RL в основном усиливает то, что уже есть после предобучения. Без глубоких шахматных знаний на этапе пре-трейна LLM не способны строить стабильные долгосрочные планы.

https://arxiv.org/abs/2507.00726